Trail of Bits представила плагины для стандартизации исправления ошибок ИИ-агентами
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Компания Trail of Bits выпустила плагины patching-bugs и regression-hunt, позволяющие делегировать агентам разработку патчей и проверку на регрессии. Инструменты снижают количество ложных срабатываний на 25% по сравнению с базовыми моделями, требуя строгих доказательств через живые тесты.
Стандартизация процесса исправления ошибок критически важна для повышения надежности ИИ-агентов в разработке ПО и снижения риска внедрения новых уязвимостей при автоматизации безопасности.
Trail of Bits представила два новых плагина — patching-bugs и regression-hunt, разработанных для делегирования задач по исправлению ошибок и проверке регрессий ИИ-агентам. Эти инструменты созданы в рамках совместной инициативы с OpenAI под названием Patch the Planet, в ходе которой команда уже внесла сотни исправлений в популярные open-source проекты. Разработчики подчеркивают, что плагины не просто генерируют код, а обеспечивают структурированный рабочий процесс с независимыми проверками и строгими требованиями к доказательствам.
Разработка инструментов была спровоцирована анализом ранее выпущенных патчей. При проверке более 130 объединенных запросов на изменение (PR) инженеры Trail of Bits подтвердили 21 случай регрессии, включая функциональные, производительностные и ошибки сборки. Хотя ни одна из них не нарушила защиту безопасности, этот опыт показал необходимость стандартизации. Компания пришла к выводу, что для снижения количества ошибок требуется единый стандарт написания патчей и строгие правила проверки, определяющие, что именно считается регрессией.
Ключевым отличием regression-hunt является его подход к снижению ложных срабатываний. В предварительных оценках плагин продемонстрировал на 25% меньше ложноположительных результатов по сравнению с базовым агентом Codex, которому было дано простое задание «проверить PR на регрессии». Это достигается за счет того, что бремя доказательств лежит на агенте: он должен подтвердить, что найденная проблема не является ложным срабатыванием, неполным исправлением или существующей ранее ошибкой. Если доказательства недостаточны, результат классифицируется как неопределенный.
Плагин patching-bugs опирается на анализ тысяч сессий работы инженеров с Codex. Он внедряет принцип «трехстороннего доказательства»: исправление считается валидным только если исходный код падает, патченный код работает, а полное откатывание патча снова приводит к сбою. Это гарантирует, что именно изменение кода, а не внешние факторы, решает проблему. Кроме того, плагин поощряет исправление нарушенного инварианта безопасности, а не конкретного бага, что позволяет обобщить решение для аналогичных уязвимостей.
Для эффективной работы плагины требуют от пользователей предоставления контекста проекта. Разработчики рекомендуют добавить в репозиторий файлы THREAT_MODEL.md и PATCHING_GUIDELINES.md. Первый документ описывает активы, границы доверия и критерии уязвимости, а второй — правила сборки, тестирования и оформления исправлений. Trail of Bits отмечает, что чем более детализированными являются эти файлы, тем выше качество работы агентов.
Компания продолжает совершенствовать инструменты, анализируя траектории действий агентов и собирая обратную связь от пользователей. Следующим шагом станет создание оценки для patching-bugs, измеряющей способность исправлять варианты багов без введения новых ошибок. Trail of Bits призывает индустрию сосредоточиться на качестве патчинга, чтобы соответствовать растущей скорости обнаружения уязвимостей с помощью ИИ.