Как команда Claude Code организует верификацию кода, написанного ИИ
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Claude Code в Anthropic делится подходом к автоматической проверке кода, который на 90% генерируется и ревьюится самим Claude. Ключевым инструментом выступают циклы верификации с использованием end-to-end, property и дифференциальных тестов, что позволяет масштабировать параллельную работу агентов.
Материал раскрывает практические методы обеспечения качества в условиях массового делегирования задач ИИ-агентам. Это критически важно для разработчиков, стремящихся внедрять LLM в production-пайплайны без потери контроля над стабильностью и надежностью систем.
В команде Claude Code от Anthropic около 90% кода пишется и проверяется самим Claude. При таком уровне автоматизации критически важным становится механизм верификации: без него разработчики вынуждены вручную проверять каждый результат, что ограничивает параллельный запуск агентов единицами. Наличие же надежных циклов проверки позволяет одновременно работать с десятками или сотнями инстансов, так как качество результата подтверждается объективными доказательствами, а не субъективной оценкой.
Внутренние тесты показывают, что использование отдельного «оценщика» для проверки работы Claude по заранее заданным критериям повышает успешность выполнения задач на 10 пунктов по сравнению со стандартным промптингом. Наибольший эффект наблюдается на самых сложных проблемах. Генерация тестов, бенчмарков и спецификаций стала дешевой операцией: агенты быстро создают эти артефакты, а их последующее выполнение не требует значительных затрат токенов, что позволяет закрывать цикл обратной связи и улучшать производительность агента.
При выборе типа тестов команда рекомендует делать ставку на end-to-end (E2E) проверки. Они описывают реальные пользовательские сценарии и трудно поддаются обману: либо функция работает целиком, либо нет. В отличие от юнит-тестов, которые могут проходить даже при сломанной функциональности из-за неполного понимания контекста агентом, E2E-тесты дают четкий критерий готовности. Для этого агенту предоставляют инструменты для взаимодействия с реальным запущенным приложением — через CDP, симуляторы или API-обвязки.
Дополнительно применяются property-тесты, которые генерируют тысячи входных данных для поиска граничных случаев, часто упускаемых разработчиками. Эти тесты помогают «держать агента честным», используя непредвзятые сценарии, и особенно полезны при рефакторинге, когда спецификация разошлась с фактическим поведением системы. Третий тип — дифференциальные тесты, эффективные при миграциях: они сравнивают результаты работы старой и новой систем на одинаковых входных данных, выявляя несовместимые изменения.
Процесс ревью в Anthropic строится на принципе «сначала дешевые проверки». Claude обязан прогнать локальные тесты, сборку и линтеры до открытия pull request. Если проверка падает три раза подряд, агент останавливается и привлекает человека. Команда использует чек-лист из 39 пунктов надежности, где каждый пункт имеет триггер, читаемый из диффа. Это позволяет не запоминать все прошлые инциденты, а автоматически проверять только релевантные изменения.
Важным аспектом является изоляция правил проверки от самого кода. Файлы с правилами (например, REVIEW.md) читаются из базовой ветки, а не из pull request, чтобы агент не мог изменить критерии своей оценки. Также внедрена система «штампов» верификации в коммитах: если сессия не содержала команд /code-review или /verify, коммит может быть заблокирован. Это предотвращает ситуацию, когда код попадает в репозиторий без должной проверки.
Команда регулярно оценивает качество самих ревьюеров, отслеживая количество откатов и отвергнутых изменений. Они используют формальные оценки на основе прошлых инцидентов, чтобы убедиться, что система не теряет уже найденные баги. Правила в REVIEW.md создаются на основе анализа человеческих комментариев и ревертов, а затем проверяются тремя агентами-оппонентами. Такой подход позволяет сместить фокус разработчика с чтения каждого диффа на определение критериев «готовности» и проверку доказательств, что является ключом к эффективному масштабированию работы с ИИ-агентами.