Как поверять вывод ИИ-агента: пошаговый разбор
Инструкция нужна там, где агент уже готовит то, что уходит наружу или в работу: письма клиентам, коммерческие предложения, счета, тексты на сайт, отчёты, заявки в системы. Она рассчитана и на предпринимателя с одним чат-ботом, и на отдел, где агент стоит в конвейере и выдаёт десятки единиц в день. Там, где цена ошибки равна нулю — черновики для себя, поиск идей, сортировка входящих — поверка не нужна; там, где ошибка уходит клиенту, в деньги или в персональные данные, она обязательна. Логика взята из метрологии: у измерительного прибора есть эталон, допуск, журнал и поверитель. Поверитель — это человек с именем, который отвечает за показание. Вывод ИИ-агента без такого поверителя — это текст, а не результат.
Ниже — процедура из 12 шагов. Она рассчитана на рабочий день, а не на отдельный проект. Каждый шаг заканчивается тем, что можно проверить: документом, числом или записью в журнале.
- Назначьте поверителя и дайте ему право остановки: в регламенте — конкретная роль или имя, а не «все сотрудники». Проверяемый результат: у поверителя есть техническая возможность заблокировать отправку или публикацию.
- Разделите выводы по цене ошибки: уходит клиенту (высокая), внутри компании (средняя), можно удалить без последствий (низкая). Проверяемый результат: для каждой категории записан уровень проверки — построчная, выборочная или без проверки.
- Соберите эталон из 20–30 типовых задач, для которых вы точно знаете правильный ответ, и сохраните пары «запрос — верный ответ». Проверяемый результат: ответы получены вами или вашими документами, а не моделью.
- Прогоните агента по эталону до первой рабочей задачи и зафиксируйте, сколько ответов совпало. Проверяемый результат: число вида «18 из 20» и порог в регламенте, ниже которого агент в работу не выпускается.
- Напишите чек-лист на один экран: факты; цифры и цены; сроки и условия; ссылки на источники; персональные данные; название компании и клиента; тон. Проверяемый результат: новый сотрудник проверяет вывод по нему за минуты, а не «читает внимательно».
- Сверяйте цифры с документом-первоисточником, а не с памятью модели: каждая цена, срок и условие берутся из прайса, регламента или базы знаний дословно. Проверяемый результат: у каждого числа есть документ, который поверитель открыл и сверил. Нет фактуры — вывод о ней не пишется, а пробел сообщается отдельно.
- Откройте каждую ссылку: модель уверенно выдумывает правдоподобные адреса. Проверяемый результат: ссылка существует и в ней действительно то, что утверждает вывод.
- Проверьте персональные данные и основание для публикации. Проверяемый результат: в чек-листе отмечено, какие данные удалены или обезличены перед отправкой.
- Заведите журнал поверки: дата, кто проверил, что исправил, версия правил и эталона — на каждый выпущенный вывод. Проверяемый результат: за любой месяц вы поднимаете историю конкретного вывода и видите, что в нём меняли.
- Ограничьте права агента технически: отдельная учётная запись, лимиты на объём, отсутствие доступа к оплате, публикации и удалению файлов. Проверяемый результат: агент физически не может совершить необратимое действие без подтверждения человека.
- Введите периодическую поверку: раз в неделю или месяц выборочно перепроверяйте каждый десятый вывод и сверяйте с эталоном. Проверяемый результат: динамика по неделям в журнале; при росте доли ошибок агент останавливается, правила и эталон пересматриваются.
- Опишите порядок на случай ошибки: кто останавливает агента, кто и в какой срок уведомляет клиента, как обновляется чек-лист. Проверяемый результат: по каждому инциденту — запись в журнале и правка правил.
Обсудить внедрение ИИ-агентов в вашем бизнесе
Расскажите о задаче — посчитаем, сколько часов и денег сэкономит агент.
Обсудить внедрение →