LLM-агент для инфраструктурных расследований: как не дать ему врать

Проблема: LLM отлично генерируют связные объяснения, но в инфраструктурной диагностике каждое слово должно быть подтверждено фактами. Стандартный запрос к ChatGPT может привести к вымышленным логам или неверным командам. В результатах - ложные гипотезы, потеря времени и, в худшем случае, неверные действия.

Решение: read-only агент. Он не может изменять конфигурации, но может читать логи, метрики и состояние кластера через API. Каждый шаг расследования - цепочка: гипотеза → запрос к источнику → проверка → вывод. Если на каком-то этапе агент не находит подтверждения, он отказывается от гипотезы и начинает новую.

Архитектура агента включает несколько ключевых компонентов: ограниченный ServiceAccount с правами только на чтение, набор инструментов для вызова kubectl и Prometheus, и систему оценки уверенности. Модель не просто генерирует ответ, а оценивает вероятность своей правоты. Если уверенность ниже порога - агент сообщает, что не знает.

1. Архитектура read-only - агент подключается к кластеру через ServiceAccount с минимальными правами (только get/list).
2. Цепочка рассуждений с инструментами - каждый шаг генерирует запрос к kubectl, Prometheus или логам, результат возвращается в контекст.
3. Оценка уверенности - модель обучается не только давать ответ, но и оценивать свою уверенность. Если уверенность ниже порога, агент говорит "не знаю".
4. Тестирование на боевых сценариях - 45 типовых инцидентов, от 502 на ingress до проблем с DNS.
5. Результат: 44 из 45 сценариев пройдены. Единственная ошибка - случай, когда не хватало логов.

«Мы поняли: главное - достоверность, а не скорость. Агент должен уметь сказать «я не уверен».»