Когда ИИ берет на себя тесты: опыт банковского QA

В одном из российских банков QA-инженер столкнулся с задачей автоматизировать написание и поддержку 2000 тестов. Он внедрил AI-ассистента на основе LLM, обученного на этих тестах. На простых проверках (валидация полей, формы) ассистент работал без ошибок. Но на сложной бизнес-логике с множеством условий начинались проблемы.

Например, тест для проверки расчёта процентов по кредиту ассистент писал с ошибкой: не учитывал один из тарифов. Инженеру приходилось тратить время на правку. В итоге экономия на рутине частично съедалась доработками, но общая картина оказалась положительной.

1. Шаблонные тесты — зона полной автоматизации. Формы, валидация, стандартные сценарии — ассистент пишет их быстрее человека.
2. Сложные сценарии требуют человеческого ревью. Если тест затрагивает несколько бизнес-правил, лучше проверить вручную.
3. Обучение на своих данных — обязательно. Ассистент, обученный на 2000 тестах, понимает контекст банковской системы гораздо лучше базовой модели.
4. 20% сгенерированных тестов нуждались в доработке. Это нормально: ИИ берёт на себя черновик, человек делает финальную шлифовку.

«Мы получили не замену человека, а инструмент, ускоряющий его работу.»