Один агент против конвейера: как Авито разложила разметку отзывов на роли

Разметка отзывов дорожает не из-за объёма текста, а из-за его неоднородности. В опроснике всё просто: одна оценка - одна категория. В свободном комментарии тем обычно несколько сразу: человек в одном абзаце жалуется на сроки доставки, упоминает неудобный фильтр в приложении и хвалит поддержку. Если процесс присваивает комментарию ровно одну категорию, две трети сигнала исчезают.

В системе Авито Рекламы это разделено на роли. Один агент отвечает за точный смысл комментария. Отдельная роль - за то, чтобы сохранились все затронутые темы, а не только главная. Третья часть конвейера - единые правила разметки, которые применяются одинаково ко всем записям. Рядом работает Python-помощник. Логика разделения простая: за смысл отвечает модель, за воспроизводимость - код и справочник. Если правило можно сформулировать однозначно, ему нечего делать в промпте: там оно соблюдается примерно, а не всегда.

Ключевая деталь - обновляемая таксономия, то есть сам перечень тем разметки. Это признание того, что список категорий устаревает: меняется продукт, появляются новые поводы для жалоб, часть старых тем перестаёт встречаться. Аналог для малого бизнеса простой: справочник тем обращений - доставка, цена, наличие, качество, возврат, документы. Если такой справочник не ревизуется, через полгода половина комментариев не попадает ни в одну категорию.

Второй вывод - про распределение задач между инструментами. Модель хорошо справляется с тем, что плохо формализуется: например, понять смысл фразы «пришло не то, что на картинке, но менеджер быстро всё решил». Код хорошо справляется с тем, что должно быть одинаковым всегда: применение справочника, проверка, что тема из списка, сортировка и выгрузка. Когда это не разделено, бизнес получает систему, которая работает «в целом», но её нельзя проверить.

Практическая ценность для компании без аналитического отдела в том, что весь описанный конвейер не требует собственной модели. Он требует трёх вещей: понятного перечня тем, разграничения «смысл - код» и регулярной ревизии правил. Это уже не задача про нейросети, а задача про процесс. Её можно собрать на одной ленте отзывов, прежде чем расширять на все каналы.

1. Разделите роли вместо одной универсальной инструкции. Пример: агент, которому поручили выбрать одну главную тему, терял упоминания о доставке в комментариях про цену. Смысл, полнота и правила - три разные задачи: смешав их в одном промпте, проверить нельзя ни одну.
2. Не отдавайте модели то, что должен делать код. Проверка, что тема есть в справочнике, и выгрузка результатов - операции, где нужна повторяемость. Если правило можно записать однозначно, оно должно исполняться программно.
3. Держите справочник тем живым и с ответственным. Таксономия в системе Авито Рекламы - часть конвейера, а не разовый документ. Назначьте, кто и как часто пересматривает список категорий.
4. Считайте выгоду в часах разбора, а не в «качестве разметки». Посчитайте, сколько минут в неделю уходит на чтение ленты и передачу тем в нужный отдел, умножьте на стоимость часа. Метрика, которую нельзя посчитать в часах, не поможет решить о внедрении.
5. Начинайте с одной ленты и одной команды. Конвейер собирался под конкретную задачу - разметку продуктового фидбэка, а не под весь поток обратной связи сразу. Расширять стоит то, что уже показало себя на узком участке.

«Задача разметки - не выбрать главную тему комментария, а сохранить все затронутые темы и применить к ним единые правила. Именно поэтому это конвейер из нескольких агентов, а не один запрос к модели.»