Где нужен ИИ-агент, а где хватит детерминированного алгоритма: пошаговый разбор.
Инструкция пригодится, если функцию в вашем продукте сейчас выполняет языковая модель, а вам кажется, что хватит обычных правил. Поводом может стать что угодно: жалобы на ошибки, недоступность без VPN, счёт за прогоны, растущий быстрее выручки. Разработчик приложения для управления финансами прошёл этот путь целиком: убрал модель из кнопки, раскладывающей накопления по целям, и заменил её детерминированным алгоритмом в одном файле. Разбор на Habr (https://habr.com/ru/articles/1088910/). Ниже - пошаговая методика такого же аудита.
Шаги. Каждый шаг заканчивается проверяемым результатом: артефактом, цифрой или решением для команды.
- Выпишите все точки вызова модели в продукте. Результат: таблица с задачей каждой точки - сгенерировать текст, выбрать вариант, посчитать, объяснить.
- Проверьте по каждой точке, есть ли единственно верный ответ. Если да - это кандидат на правила. Результат: строки таблицы с пометкой «правило» или «модель».
- Опишите вход и выход формально: какие данные приходят, что должно получиться, какие ограничения действуют. Результат: спецификация без домыслов.
- Проверьте, зависит ли результат только от данных приложения или модели нужны внешние знания. Распределение суммы по целям зависит от остатка и сумм целей - знание модели не требуется. Результат: точки, где модель используется «на всякий случай».
- Замерьте стоимость одного прогона и время ожидания ответа. Результат: цифры для сравнения с версией на правилах.
- Проверьте доступность сервиса из России: работает ли модель без VPN, не под белыми ли списками, что видит пользователь при отказе. Результат: сценарии, в которых функция недоступна.
- Напишите детерминированную версию: обычно одна функция в одном файле, без сети и внешних зависимостей. Результат: код, который запускается локально.
- Покройте граничные случаи: нулевая сумма, отрицательный остаток, пустой список целей, цели больше свободных денег. Результат: тесты, проходящие без обращения к модели.
- Сравните обе версии на исторических данных реальных пользователей. Результат: расхождения, которые можно объяснить и обосновать.
- Оставьте модель фолбэком для непокрытых случаев и логируйте каждый. Результат: бэклог необработанных сценариев.
- Сохраните модель там, где нужен свободный текст: объяснение результата, ответ на вопрос, разбор словами. Результат: граница между «считает правило» и «объясняет модель».
- Зафиксируйте правило в документации и базе знаний, чтобы при следующей доработке модель не вернули обратно. Результат: запись со ссылкой на тесты.
Цифры по функции распределения накоплений из разбора автора (Habr, https://habr.com/ru/articles/1088910/).
Обсудить внедрение ИИ-агентов в вашем бизнесе
Расскажите о задаче — посчитаем, сколько часов и денег сэкономит агент.
Обсудить внедрение →