Когда ИИ-агент провалился, мы поняли: дело не в нём, а в метриках

Команда разработки одного из сервисов ProAgent AI (назовём его «Бета») решила создать ИИ-агента для автоматизации рутинных задач разработчиков: ревью кода, исправление багов, написание мелких функций. Агента обучили на внутреннем репозитории и дали доступ к Jira. Через месяц стало очевидно: разработчики им не пользовались. Из 47 запланированных «боевых» задач агент не закрыл ни одной. Команда уже была готова сворачивать проект, но заметила странность: в логах появились запросы от аналитиков.

Аналитики раньше тратили часы на сбор информации о конкурентах, поиск рыночных данных и подготовку отчётов. Теперь они начали задавать агенту вопросы вроде «найди все публичные упоминания конкурента X за последний месяц» или «сравни ценовые стратегии топ-5 игроков». Агент, обученный на коде, справлялся с анализом текстов и структурированием информации. За два месяца он закрыл 55% исследовательских запросов аналитического отдела, сократив среднее время на задачу с 40 минут до 12.

1. Не зацикливайтесь на первоначальных метриках. Если агент не решает задачу A, но решает задачу B — это успех, а не провал.
2. Дайте ИИ-агенту «поля для экспериментов». Откройте доступ небольшой группе пользователей и наблюдайте, как они его используют.
3. Измеряйте реальную экономию времени и денег, а не штуки «закрытых тикетов».
4. Будьте готовы к смене роли агента: то, что не работает в продажах, может сработать в аналитике.
5. Фиксируйте все запросы — спонтанные сценарии часто ведут к новым инсайтам.

«Мы потратили месяц на обучение агента для разработчиков, а он стал лучшим помощником аналитиков. Если бы мы не смотрели логи, то просто закрыли бы проект и сказали «ИИ не работает». А он работает — просто не так, как мы думали.»

Кейс «Беты» — не исключение. В ProAgent AI фиксируют похожие паттерны у клиентов: в 30% внедрений ИИ-агент в итоге используется не по первоначальному назначению. Например, чат-бот для поддержки становится инструментом внутреннего поиска знаний, а генератор отчётов — помощником для найма. Главное — не ограничивать сферу применения строгими рамками и вовремя замечать, где возникает реальная ценность.

Если вы столкнулись с тем, что агент «не оправдал ожиданий», не спешите с выводами. Посмотрите логи: пользователи могут находить более полезное применение. Затем «оберните» найденный сценарий: дообучите агента на нужной базе, дайте ему доступ к нужным источникам. И наконец, измените KPI — вместо «количество закрытых задач в разработке» поставьте «экономия времени аналитиков» и посчитайте эффект.