Как поймать ИИ-помощника на ложном выводе: пошаговый разбор

Главная особенность таких сбоев в том, что они не выглядят как сбои. Нейросеть не путается, не извиняется и строит на неверно прочитанном интерфейсе безупречно связное рассуждение: ровный тон, аккуратная структура, вывод, из которого следует управленческое решение. Отличить это от достоверного разбора на глаз почти невозможно - поэтому ловить надо не тон, а процедуру.

1. Снимите слепок экрана до запроса. Сохраните скриншоты или выгрузку экранов, о которых пойдёт речь: сводку по кампаниям, ставки, отчёт по поисковым запросам, периоды. Проверяемый результат: есть эталон, с которым сверяется каждая цифра из ответа. Без эталона сверять не с чем.
2. Разделите задачу на два запроса - пересказ и анализ. Первый: «опиши, что видно на экранах - столбцы, значения, период». Второй, отдельный: «сделай вывод». Проверяемый результат: если пересказ разошёлся с экраном, анализ читать бессмысленно. Ложный вывод - это правильная логика на неправильном входе.
3. Проверьте каждое число вручную в кабинете: метрика, период, значение. Проверяемый результат: напротив каждого числа стоит галочка или вопросительный знак. Работа с вопросами и есть ваша задача - внутреннего чувства ошибки у модели нет.
4. Запрашивайте источник каждой цифры: «укажи, из какого столбца и за какой период взято каждое число». Проверяемый результат: если модель не называет место, значение считается непроверенным и в решение не идёт.
5. Пересчитывайте агрегаты. Строки могут выглядеть правдоподобно, а сумма - не сходиться с итоговой строкой. Сложите составляющие двух-трёх итоговых показателей на калькуляторе. Проверяемый результат: ваша сумма совпадает с кабинетом или найдено расхождение.
6. Один запрос - один вопрос. Не спрашивайте сразу про структуру кампаний, ставки, качество трафика и точки роста. Проверяемый результат: на каждый вопрос есть отдельный ответ, который можно проверить изолированно.
7. Просите отдельный список допущений: «приведи допущения, которые ты сделал, и что осталось неясным». Проверяемый результат: видно, где модель угадывала. Допущение - и есть место, откуда приходит ложный вывод, теперь названное вслух.
8. Ищите разрыв между данными и выводом. Читайте ответ как рецензент: из каких именно цифр следует рекомендация. Проверяемый результат: если между соседними утверждениями нет связи, это скачок, а не аргумент.
9. Прогоняйте контрольный пример. Возьмите участок, где правильный ответ знаете наизусть: период с ручным вмешательством, кампанию, которую вели лично. Проверяемый результат: если на известном ответе разбор ушёл в сторону, доверять разбору на незнакомом участке нельзя.
10. Фиксируйте расхождения письменно. Журнал: что спросили, что ответила модель, что было на самом деле. Проверяемый результат: через месяц - список типов ошибок именно на вашем кабинете, с периодами, столбцами и отчётами.
11. Превращайте ошибку в правило для запроса. Если модель путает период или столбец, вынесите это в текст запроса: «данные только за квартал, только по поиску, столбец конверсий - целевые заявки». Проверяемый результат: ошибка не повторяется на следующем прогоне.
12. Назначьте человека, который утверждает решение. Модель готовит разбор, решение принимает сотрудник с доступом к кабинету. Проверяемый результат: у каждого вывода, по которому меняются ставки или бюджет, есть фамилия ответственного.

Проверка строится не на доверии к инструменту, а на количестве сверок: чем больше чисел вы сверили с экраном, тем меньше выводов остаётся в силе.