Невидимые сбои: как ИИ-агенты помогают находить скрытые проблемы в production
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Финуслуг автоматизировала диагностику скрытых деградаций сервиса с помощью мультиагентной системы на базе LLM. Система анализирует метрики, логи и фронтенд-ошибки, формируя структурированные гипотезы для инженеров.
Решение демонстрирует практический подход к внедрению ИИ в DevOps: вместо полного автоматизирования исправлений система фокусируется на сборе фактов и снижении времени первичной диагностики, что критически важно для сложных распределенных систем.
В production-среде не каждая проблема проявляется как критический инцидент. Часто основные метрики остаются в норме, алерты не срабатывают, но на отдельных этапах пользовательского пути растет доля ошибок или увеличивается время отклика. Для конечного пользователя это уже поломка, хотя для системы в целом ситуация может выглядеть штатной. В команде регистрации Финуслуг такая ситуация приводила к потере 4–8 часов еженедельно только на первичную диагностику: ручной просмотр метрик в Grafana, анализ логов в OpenSearch и поиск проблемного кода. Чтобы автоматизировать именно сбор фактов и подготовку гипотез, а не принятие инженерных решений, команда разработала «ИИ-завод» на платформе Multica.
Система работает как ночной контур, где ИИ-агенты анализируют сигналы мониторинга, собирают технический контекст и сопоставляют отклонения с кодом. По расписанию создается задача, которую подхватывает lead-agent. Он читает каталог бизнес-операций из Confluence и разбивает анализ на независимые дочерние задачи. В базовом сценарии для Prometheus 21 бизнес-операция распределяется между семью дочерними агентами, каждый из которых проверяет свой участок параллельно. Такой подход позволяет ограничить контекст каждого агента и обеспечить предсказуемость результатов.
Диагностика разделена на два этапа. Сначала probe-агенты определяют наличие отклонения и его существенность, сравнивая фактические показатели с заранее заданными SLA и baseline. Они возвращают компактные отчеты со статусами OK, WARNING или BREACH. Только проблемные карточки передаются analyst-agent’у, который открывает связанный репозиторий и формирует гипотезу причины. Если отклонение подтверждено, система создает черновик Jira-задачи с описанием бизнес-операции, фактическими значениями метрик, нарушением SLA и предложением по исправлению. Инженер проверяет выводы и переводит задачу в обычный backlog.
Ключевым аспектом является использование трех разных источников данных, каждый из которых отвечает на свой вопрос. Prometheus помогает определить, где возникло отклонение, анализируя failrate и latency. OpenSearch предоставляет детали того, что именно произошло, включая HTTP-коды и stack traces. Sentry добавляет данные о фронтенде: ошибки и производительность страниц, которые могут быть незаметны в backend-метриках. Расширение области видимости модели оказалось важнее выбора более крупной LLM: метрики дали один слой проблем, логи — второй, мониторинг фронтенда — третий.
Система помогла найти проблемы, затрагивающие около 1600 регистраций. Первая версия, работавшая с Prometheus и кодом, выявила около 1000 проблем. Подключение OpenSearch добавило еще 600. Важно отметить, что AI не заменяет observability-модель, а становится полезнее по мере того, как команда точнее описывает бизнес-операции, SLA и семантику сигналов. Ошибки нельзя считать одинаково: HTTP 500 и 401/403 имеют разную семантику, что требует разных допустимых уровней.
Для интеграции в рабочий процесс диагностический контур должен быть частью обычного инженерного процесса. После исправления проверяется исчезновение эффекта по метрикам, а также разбирается путь, которым агент пришел к решению. Это создает feedback loop: при ложных срабатываниях уточняются SLA, при нехватке данных дорабатывается observability. Регулярно запущенный контур сам становится production-системой, требующей мониторинга стабильности и практической пользы агентов.
Следующим шагом является сокращение расстояния между подтвержденной гипотезой и исправлением: подготовка более детальных задач и формирование MR вместо черновиков Jira. Однако с ростом автономности растет и цена ошибки, что делает проверку человеком, контроль доступа и воспроизводимость анализа критически важными. Наиболее полезным оказался не автономный «ИИ-инженер», а система с узкими ролями, формализованными границами и понятной точкой человеческого контроля.