Как поймать тихий отказ автоматизации: 5 форм и 13 проверок

Ниже - 13 действий. Каждое заканчивается проверяемым результатом: не «стало спокойнее», а подтверждённый маршрут или найденная дыра. Пять форм тихого отказа ловятся именно здесь: код возврата вместо результата, тесты без изменений в поведении, отчёт не туда, прогон не на тех данных, проверка не того объекта.

1. Соберите список автоматических задач: что запускается, по какому расписанию, куда пишет результат. Результат: таблица, где у каждой задачи есть владелец и адрес получателя.
2. Определите, что попадёт в отчёт при провале. Если ответ «ничего» или «не знаю» - задача уже в зоне тихого отказа. Результат: список задач без ветки сообщения об ошибке.
3. Проверьте фактический адрес доставки, а не тот, что в коде: отправьте тестовый отчёт на свой аккаунт и посмотрите, где он окажется. Результат: подтверждённый маршрут или найденный ящик, куда складывается всё «на всякий случай».
4. Отделите код возврата от результата. Крон может три дня писать «код 0» и ничего не делать: процесс завершился без ошибки, работа не сделана. Результат: признак, который проверяется по сделанному, а не по факту запуска.
5. Проверьте, на каких данных гоняли пробу: подготовленный набор и живые данные - разные вещи. Результат: известно, видел ли бот хотя бы один реальный документ из продакшена.
6. Проверьте, тот ли объект: правильный ли аккаунт, канал, адрес приёмника, папка на сервере. Результат: сверка идентификаторов перед каждым прогоном, а не один раз при настройке.
7. Пересмотрите тесты. 291 зелёный тест при нуле изменений в поведении означает, что тесты проверяют сами себя. Результат: тест, который падает при сломанной логике; убедитесь, испортив одну строку.
8. Настройте heartbeat: отсутствие сигнала - тревога, а не тишина. Результат: если задача не отчиталась за отведённое окно, приходит уведомление.
9. Переведите отчёты в режим исключений: пишите о проблеме, а не о гладком дне. Результат: письмо с проблемой вместо ежедневного «всё ок», которое перестают читать.
10. Раз в месяц проводите учебную тревогу: отключите ключ, подмените адрес, испортите входные данные. Результат: подтверждённая работа сигнализации, а не предположение о ней.
11. Логируйте артефакт. Запись «задача выполнена» бесполезна; нужна запись, что создано: файл, строка, сообщение, номер заявки. Результат: по логу видно результат, а не факт запуска.
12. Закрепите ответственного: проверка без владельца не живёт дольше месяца. Результат: у каждой задачи есть человек, отвечающий за отказ, а не только за запуск.
13. Оцените цену тишины в деньгах: расход на сопровождение и модели за дни простоя плюс потерянные обращения. Результат: цифра, оправдывающая время на проверки.

Три вопроса к любой проверке: что попадёт в отчёт при провале, на каких данных гоняли пробу, тот ли объект проверяли. Если хотя бы на один нет ответа с доказательством - задача не проверена. Хорошая проверка не доказывает, что всё работает: она показывает, узнаете ли вы о поломке.