Как собрать ИИ-конвейер для разметки обратной связи клиентов: пошаговый разбор

Ниже: порядок сборки. Каждый шаг заканчивается проверяемым результатом: если результат не получается, к следующему шагу переходить рано.

1. Соберите обратную связь в одну выгрузку: таблица или база, где у каждого сообщения есть идентификатор, дата, канал и текст без правок. Результат: набор данных, который можно прогнать через модель целиком и сравнить два прогона.
2. Сформулируйте управленческий вопрос. Не «разметить отзывы», а «какие категории проблем растут быстрее и на каком шаге заказа возникают». Результат: одна фраза, под которую подбираются категории.
3. Составьте черновую таксономию из 10–15 категорий, каждая про одну вещь: оплата, доставка, качество товара, поддержка, интерфейс. Результат: список без пересечений.
4. Дайте каждой категории определение в одно предложение и по два живых примера из своих отзывов. Результат: по формулировкам человек со стороны разметит сообщения так же, как вы.
5. Разделите задачу между специализированными агентами: одному — тема обращения, второму — тон, третьему — сущность (о каком товаре или функции речь). В кейсе Авито Рекламы конвейер устроен именно так. Результат: у каждого агента короткая инструкция, измерения не путаются.
6. Добавьте Python-помощника для того, что модель делает ненадёжно: точные совпадения по словарю, подсчёты, поиск номера заказа, дедупликация, сортировка по дате. Результат: числа и идентификаторы приходят из кода, а не из ответа модели.
7. Настройте извлечение всех затронутых тем из одного сообщения, а не одной главной: клиент жалуется на срок доставки и хвалит курьера — в разметку попадают оба факта. Результат: ни одна тема не теряется.
8. Держите таксономию отдельным обновляемым документом, а не частью промпта, и версионируйте её: номер версии, дата, что и зачем изменили. Результат: правило можно откатить и видно, из-за чего просела точность.
9. Распределите роли: таксономию и правила ведёт один человек, промпты и код — второй, приёмку качества — третий. Результат: у каждого изменения есть ответственный.
10. Проведите слепой пилот на 200–300 сообщениях: сначала ручная разметка, затем прогон через конвейер, затем сравнение. Результат: доля совпадений по каждой категории — конкретное число.
11. Поставьте порог уверенности и человека на спорных кейсах: всё, что ниже порога, уходит на ручную доработку, а не в отчёт. Результат: в отчётности нет случайных ярлыков.
12. Замерьте эффект в часах и деньгах с учётом времени куратора и правок таксономии. Результат: одна цифра экономии, которую можно защищать перед собственником.
13. Расширяйте поток постепенно: месяц на одном канале, затем следующий, после каждого расширения — проверка на 50 сообщениях. Результат: сломанное правило находится сразу, а не через квартал.

Конкретных цифр экономии команда Авито не публикует: в её разборе описан состав конвейера и распределение задач, а не объём выгрузки и стоимость прогонов. Ориентиры ниже — то, что следует из устройства системы. Свои цифры вы получите на десятом и двенадцатом шаге.