Как заметить ошибки ИИ-агента при зелёных дашбордах: пошаговый разбор

Dashboards зелёные, потому что они измеряют не то. Latency в норме, но агент врет. Ниже — шаги.

1. Соберите golden dataset — 100–500 пар «запрос → ожидаемый ответ» из реальных диалогов. Разметьте вручную.
2. Настройте автоматический прогон golden dataset после каждого обновления или раз в сутки. Сравнивайте ответы по семантической близости (≥0.9) или точному совпадению для фактов.
3. Добавьте мониторинг «отрицательных» метрик: доля отказов или неопределённых ответов — не более 5% без причины.
4. Внедрите A/B-тестирование: для 1–5% трафика сравнивайте ответы агента с человеком. Разница >10% — повод для разбора.
5. Настройте алерты на аномалии в структуре ответов: резкий рост длины, стоп-слова («извините, я ошибся»), смена тона.
6. Добавьте обратную связь: кнопка «Помогло?» после каждого диалога. >20% негатива — триггер эскалации.
7. Создайте дашборд качества: % совпадений с golden dataset, % отказов, % негатива, средняя семантическая близость.
8. Раз в неделю ручной аудит 50–100 диалогов: корректность, тон, безопасность. Доля «плохих» не более 2–3%.
9. Проверяйте качество по категориям: создайте отдельные golden наборы для разных сценариев и отслеживайте отдельно.
10. Настройте оповещения (Telegram/Slack) при просадке метрик >10% от недельного среднего. Время реакции <1 часа.

После внедрения вы обнаружите до 95% критических ошибок до влияния на бизнес. Время настройки — 2 дня–неделя.