Автономная сборка инструментов: как автор AutoHarness заставил ИИ-агентов создавать себе собственные рабочие процессы
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Разработчик представил фреймворк AutoHarness, который заставляет LLM-агентов самостоятельно искать, проверять и создавать необходимые им инструменты для решения задач. Система использует строгие протоколы верификации и независимых критиков, чтобы повысить предсказуемость и качество работы моделей, таких как Claude Code.
Материал демонстрирует переход от простого использования LLM к созданию сложных агентных систем с самоорганизацией. Это важный тренд в области AI-инженерии, показывающий, как можно решить проблему «галлюцинаций» и некомпетентности агентов через архитектурные ограничения и автоматизированную проверку качества.
Вопросы к ИИ-агентам часто сводятся к тому, что они выполняют задачи поверхностно, полагаясь на внутренние знания модели, а не на реальные данные. Автор статьи, имеющий опыт работы в авиационной отрасли, столкнулся с этой проблемой при попытке заставить Claude Code (Opus 5.5) создать SVG-иллюстрацию сцены из фильма «Бегущий по лезвию 2049». Задача была ограничена запретом на использование внешних генераторов графики, что требовало от модели точного координатного построения изображения. Все протестированные агенты провалились: они рисовали «по памяти», не сверяясь с референсом, и при попытках улучшения ломали уже работающие части кода.
Анализ показал, что агентам не хватает системного подхода к планированию и проверке. Автор выделил ключевые вопросы, которые модель игнорирует: наличие документации, доступных инструментов, критериев успеха и референсов для сравнения. Попытки вручную подсказывать эти шаги оказались неэффективными, так как агент быстро забывал контекст. Это привело к созданию AutoHarness — системы, которая делегирует процесс подготовки и контроля качества самому ИИ, но в рамках жестких правил.
Механика работы AutoHarness основана на разбиении задачи на области знаний. Перед началом работы агент ищет готовые решения (скиллы или MCP-серверы) в доверенных источниках. Если подходящего инструмента нет, модель пишет его самостоятельно. Важным аспектом является безопасность: каждый новый скилл проходит проверку на вредоносный код (например, попытки доступа к ~/.ssh), а установка происходит только после подтверждения пользователем. Знание, которое агент считает «встроенным», также фиксируется в виде скилла для обеспечения воспроизводимости.
Ключевым элементом системы является этап верификации. Агент обязан создать бриф с четкими критериями результата до начала работы. В случае визуальных задач это включает измерение пропорций и цветов референса. Поскольку LLM не «видит» код SVG, агент открывает файл в браузере, делает скриншот и сравнивает его с оригиналом. Отдельный агент-критик, который не участвовал в создании кода, оценивает результат вслепую, присваивая статусы от «none» до «blocker». Это предотвращает самообман: в одном из случаев автор исправлял уязвимости в самом AutoHarness, и критик сразу нашел обходные пути, которые автор-исполнитель считал незначительными.
Для обеспечения соблюдения правил используется скрипт autoharness, который действует как внешний контролер. Он проверяет журнал действий агента: если шаг из брифа не выполнен или не задокументирован, скрипт блокирует дальнейшие действия. Это решает проблему «пропуска» инструкций в промпте. Кроме того, система требует смены подхода, если одна и та же ошибка сохраняется три раунда подряд.
По словам разработчика, использование AutoHarness значительно повысило предсказуемость результатов работы Claude Code, особенно на сложных визуальных задачах. Хотя полноценного бенчмарка пока нет, автор отмечает, что подготовка к задаче требует больше времени и токенов, но это компенсируется качеством итогового продукта. Для простых задач предусмотрен облегченный режим без глубокого анализа. Проект открыт для сообщества и поддерживает несколько популярных CLI-интерфейсов для LLM.