Почему git revert не спасает: разбор механизмов надёжности ИИ-агентов
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Анализ пяти докладов показывает, что стандартные инструменты отката кода недостаточны для управления побочными эффектами AI-агентов. Для обеспечения безопасности требуется внедрение многоуровневых систем контроля состояния, явных статусов операций и ступенчатой автономии.
Масштабирование использования AI-агентов в продакшене сталкивается с критической проблемой необратимости действий. Без специализированных механизмов контроля сбои в логике агентов приводят к каскадным ошибкам во внешних системах, что делает вопрос надёжности ключевым для внедрения технологий.
Современные AI-агенты демонстрируют высокую эффективность в решении задач разработки, однако их способность безопасно отменять собственные действия остаётся критически низкой. Исследователи проекта UndoBench провели серию из 2880 парных испытаний, сравнив стандартный запуск агентов с сценариями искусственных сбоев. Результаты показали, что при нормальном функционировании модели успешно завершали 84% задач, тогда как в условиях сбоя восстановление работоспособности удавалось лишь в 47% случаев. Авторы исследования честно указывают на различие знаменателей в этих статистических данных, однако разрыв свидетельствует о фундаментальной проблеме: стандартный механизм git revert возвращает только файлы репозитория, игнорируя изменения в конфигурациях среды, внешних API и базах данных.
Проблема усугубляется при попытках самоэволюции агентов. В проекте EvoUndo, также разработанном командой UndoBench, на 600 задачах было зафиксировано, что в 197 случаях (около 42%) улучшение производительности сопровождалось поломкой механизма восстановления. Попытки починить откат через промпт-инжиниринг оказались неэффективными: четыре стратегии ремонта с верификатором вернули ноль из 197 проблемных правок. Эксперты выделяют две основные причины: отсутствие привязки к исходному состоянию (state grounding) и недостаточная выразительность языка отката. Когда агенту предоставили точные данные о предыдущем состоянии, а также расширили словарь операций восстановления, эффективность резко выросла — с нуля до 142 из 143 случаев в изолированных тестах.
На уровне взаимодействия с внешними сервисами ключевой проблемой является некорректная обработка таймаутов. Principal-инженер Microsoft, разработчик open-source моста MCP Pacemaker, отмечает, что таймаут означает лишь потерю ответа, а не провал операции. Наивные повторы запросов при потере подтверждения приводят к созданию дубликатов: в 54% испытаний UndoBench это вызвало множественные записи в трекерах задач. Для решения этой проблемы инженер предложил схему SAFE, включающую проверку происхождения данных, ограничение побочных эффектов до одного (at-most-once) и явное кодирование исходов операций. Это позволяет системе различать успешное выполнение, частичный сбой и неизвестное состояние.
Команда Anthropic в проекте Claude Code сталкивается с аналогичными вызовами при управлении десятками фоновых сессий. По данным компании, количество генерируемых изменений выросло с 2500 в день в мае до более чем 30 000 в сентябре. Для контроля рисков внедрён режим auto mode, который блокирует 89% опасных команд, хотя около 14% всё же проходят проверку. Инженеры подчёркивают, что гарантии безопасности обеспечивает не промпт, а программная обвязка (harness). Критически важным является использование exit code 2 в хуках проверки: стандартный код ошибки 1 интерпретируется Claude Code как успешное завершение задачи, что может привести к игнорированию сбоев.
Опыт компании Harvey демонстрирует риски отсутствия квотирования. В августе баг привёл к запуску около 900 агентов на одну ошибку в течение четырёх часов, исчерпав ресурсы кластера. После внедрения честной очереди с приоритетом для пользователей и предохранителей (автоотключение после пяти падений подряд) производительность старта задач выросла с почти двух секунд до 70 миллисекунд. Это подтверждает необходимость жёсткого контроля параллельных запусков и бюджетирования ресурсов.
Команда Meta предлагает подход ступенчатой автономии, где права агента расширяются по мере подтверждения его надёжности. На первой ступени агент только расследует инциденты, на второй — готовит патчи с обязательным ревью, а на третьей — самостоятельно закрывает низкокритичную рутину. По оценкам специалистов, около трёх четвертей нового кода в Meta пишется с использованием ИИ, но высококритичные изменения остаются под контролем человека. Повышение уровня автономии зависит от цены ошибки и подтверждённой истории успеха.
Синтез данных из пяти докладов позволяет выделить пять ключевых правил для обеспечения надёжности AI-агентов: фиксация состояния до мутаций, требование явных статусов операций, использование системных sandbox для запрета необратимых действий, внедрение дедупликации и лимитов параллельности, а также выдача автономии строго по типу действия. Эти механизмы формируют основу для безопасного масштабирования агентных систем в промышленной среде.