От промптов к спецификациям: как я организовал разработку автотестов с ИИ-агентами
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

QA-инженер Cloud.ru описывает переход от простого делегирования задач ИИ к методологии Specification-Driven Development (SDD) с использованием фреймворка OpenSpec. Многоагентный процесс с разделением ролей на планирование, реализацию и ревью позволяет повысить качество автотестов REST API, выявляя логические ошибки, которые не видны при стандартном запуске pytest.
Материал демонстрирует практический подход к решению проблемы «галлюцинаций» в тестировании: ИИ может написать синтаксически корректный код, который проверяет не те бизнес-процессы. Использование спецификаций и многоагентной оркестрации превращает ИИ из простого генератора кода в инструмент управляемого инженерного процесса, где человек сохраняет контроль над качеством и требованиями.
В современной разработке автотестов использование ИИ-агентов часто сводится к передаче промпта и ожиданию готового кода. Однако, как отмечает QA-инженер Cloud.ru, такой подход несет риски: агент может написать тесты, которые формально проходят, но не проверяют ключевые аспекты бизнес-логики. Например, проверка успешного ответа API при удалении ресурса не гарантирует, что ресурс действительно исчез из хранилища. Для решения этой проблемы автор внедрил методологию Specification-Driven Development (SDD) с использованием фреймворка OpenSpec.
Процесс построен на многоагентной оркестрации, где главный агент управляет работой специализированных ролей: планировщика, разработчика и ревьюера. Вместо немедленного написания кода, первый этап посвящен исследованию задачи и созданию спецификации (change), включающей proposal.md, design.md и task.md. Это позволяет четко зафиксировать требования и критерии приемки до начала реализации.
Ключевым отличием такого подхода является наличие отдельного этапа ревью. Агент-ревьюер анализирует написанные тесты на соответствие спецификации и их способность выявлять дефекты. В одном из примеров именно ревьюер обнаружил, что тест на удаление файла в Git-репозитории не проверял исходное состояние (наличие файла), что делало проверку удаления бессмысленной. Самопроверка исполнителя не выявила эту ошибку, так как она ограничивалась анализом логики кода без экспериментальных проверок.
Автор подчеркивает, что его роль сместилась от написания кода к проектированию требований и контролю качества. Время на выполнение типовых задач сократилось с полдня до 1-1,5 часов, при этом часть работы агентов выполняется параллельно с другими задачами инженера. Важным аспектом является сохранение человеком окончательного права на принятие решений: агенты предоставляют информацию и замечания, но ответственность за итоговое качество остается за разработчиком.
В практическом примере по покрытию CRUD-операций для Git-тегов планировщик предложил не только проверить ответы API, но и использовать git ls-remote для верификации фактического состояния репозитория. Это предотвращает ложные срабатывания из-за кэширования или неактуальных данных в API. Процесс завершается архивированием спецификации, обновлением документации и подготовкой Merge Request, что создает полную историю принятых инженерных решений.