Архитектура доверия: как программные ограничения управляют автономными ИИ-агентами

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Автор описывает разработку компонента ChangeSet в рамках системы Site Agent Runtime, который формализует и проверяет действия ИИ-агентов перед их исполнением. Статья детально разбирает инженерные решения для предотвращения конкурентных конфликтов, нарушения целостности данных и несанкционированных изменений.

Материал демонстрирует практический подход к решению проблемы безопасности автономных ИИ-систем: вместо полагания на «внимательность» модели используются детерминированные программные проверки, что критически важно для внедрения ИИ в производственные среды.

В предыдущих публикациях автор рассказывал о предоставлении ИИ-агенту доступа к CMS MODX через протокол MCP и организации его самостоятельной работы с боевыми сайтами. К тому моменту вокруг MCP уже сформировалась инфраструктура из файловых операций, блокировок и резервного копирования. Однако для выполнения сложных задач и управления состоянием между сессиями этого оказалось недостаточно. Так возникла необходимость в Site Agent Runtime — многокомпонентной системе для управления автономными агентами. В центре внимания статьи находится компонент ChangeSet, который отвечает за подготовку, проверку и фиксацию планов изменений, но сам по себе не выполняет никаких операций на сайте.

Ключевой проблемой является расхождение между технически правильным решением агента и разрешением пользователя. Например, агент может предложить изменить общий чанк для исправления одной страницы, что затронет десятки других ресурсов. Чтобы избежать таких ситуаций, архитектура разделяет принятие решений, подготовку плана и исполнение. ChangeSet превращает технические решения в декларативный документ, который проходит строгие проверки через метод bindscope(). Этот механизм связывает каждую операцию с конкретной целью, проверяя тип действия, статус объекта и соответствие идентификаторов. Если агент пытается удалить ресурс вместо его обновления или изменить посторонний объект, операция отклоняется программно, а не на уровне инструкций.

При реализации хранилища документов в формате JSON-файлов автор столкнулся с классической проблемой конкурентной записи — lost update. Атомарная замена файлов и блокировки через fcntl.flock защищают от частичной записи, но не гарантируют актуальность данных при подготовке изменений. Два процесса могли одновременно прочитать одну редакцию, подготовить свои изменения и последовательно записать их, при этом результат первого процесса терялся без ошибок. Для решения этой задачи был внедрен оптимистический контроль: перед сохранением текущее состояние документа повторно считывается и сравнивается с исходным. Если обнаружено расхождение, операция отклоняется с явным сообщением о конфликте.

Особую сложность представляет управление жизненным циклом ChangeSet. Метод seal() переводит план из состояния draft в sealed, фиксируя его содержимое. При этом номер редакции не обязательно увеличивается, что создает риск перезаписи зафиксированного документа устаревшим черновиком. Поэтому для контроля целостности используется сравнение всего ранее прочитанного документа, включая его состояние, а не только номера ревизии. Для внесения поправок в зафиксированный план предусмотрен отдельный метод amend(), который сохраняет историю изменений и сбрасывает прежнее подтверждение, так как добавление новых операций не должно автоматически наследовать разрешение пользователя.

Вопросы безопасности требуют особого подхода. Метод approve() в опубликованном ChangeSet намеренно отклоняет любые вызовы, поскольку строковый аргумент source не может служить доказательством того, что пользователь действительно одобрил действие. Агент способен передать этот параметр самостоятельно, создавая иллюзию согласования. Поэтому планы, требующие внешнего подтверждения, нельзя зафиксировать через seal() в обход этого ограничения. Целостность данных контролируется с помощью канонического SHA-256, который проверяется перед фиксацией и при последующих проверках состояния.

Даже после прохождения всех внутренних проверок существует риск TOCTOU-гонки (time-of-check to time-of-use), когда состояние внешней системы изменяется между подготовкой плана и его исполнением. ChangeSet использует read_set и контрольные отпечатки исходных данных, а также маркеры устаревшего состояния от компонента State Guard. Однако окончательная гарантия согласованности должна обеспечиваться на уровне исполнения через атомарные операции вроде compare-and-swap. Разделение ответственности здесь принципиально: ChangeSet отвечает за логику плана и контроль редакций, а проверка состояния внешней системы в момент записи остается задачей Executor.

Работа над ChangeSet показала, что расширение возможностей ИИ-агентов требует создания серьезной программной среды для контроля их решений. Чем больше самостоятельности получает искусственный интеллект, тем больше детерминированной инженерной работы требуется от разработчиков для обеспечения безопасности и предсказуемости системы. Исходники компонентов Runtime доступны в открытом репозитории с автоматическими тестами, которые проверяют конкретные инварианты конкурентного состояния и целостности данных.