30% ответов ИИ-агента — ложь, панель зелёная. Ловите это так.

ИИ-агенты в продакшене ведут себя не как обычное ПО. Они не падают с ошибкой 500 и не тормозят — они начинают генерировать правдоподобную чушь. При этом привычные метрики мониторинга остаются в норме: latency укладывается в SLA, error rate — ноль, uptime — 99,9%. Но агент врёт. И вы узнаете об этом только когда клиент пожалуется на неверный расчёт или абсурдный совет.

Проблема в том, что традиционный мониторинг приложений заточен на технические сбои: пропадание сети, перегрузку CPU, ошибки в коде. ИИ-агент же «сломан» по-другому: его нейросеть продолжает выдавать ответы, но их качество падает. Как отмечает автор статьи на Habr, «система может быть формально исправна, но её результаты — нет». Особенно опасно, когда агент работает на внешнем контуре — общается с клиентами, формирует документы, управляет заказами. Некорректный ответ может стоить контракта.

Что делать? В статье предлагаются три подхода. Первый — автоматическая проверка фактов (grounding): сверка ответов с авторитетными источниками (базы знаний, API, документы). Второй — семантический анализ: оценка не формата, а смысла ответа. Третий — LLM-as-judge: использование второй языковой модели для оценки качества ответов первой. Эти методы ловят ложные ответы на ранней стадии, не дожидаясь жалоб.

1. Внедряйте семантический мониторинг: оценивайте не формат ответа, а его смысл и соответствие фактам.
2. Используйте LLM-as-judge: пусть вторая модель проверяет ответы первой. Это позволяет автоматически отлавливать до 80% некорректных ответов (по данным из обсуждений).
3. Логируйте каждый ответ ИИ-агента и проводите выборочный аудит — хотя бы 5% сессий. Это поможет вовремя заметить деградацию.
4. Установите пороговые значения для скора качества ответа и настройте алерты при его падении — аналогично alerting по error rate.
5. Регулярно обновляйте базу знаний и промпты агента: многие ложные ответы возникают из-за устаревших данных.

«Вы даже не поймете, что он сломан — панель зеленая, а агент врет.»