TDD как промпт: как тесты ограничивают свободу ИИ-агентов

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Разработчик из МТС Web Services предлагает использовать методологию TDD для управления генерацией кода с помощью LLM. Тесты в этом подходе служат одновременно четким заданием для модели и критерием приемки результата.

Метод позволяет снизить риски ошибок при делегировании задач ИИ, превращая абстрактные инструкции в проверяемые технические спецификации.

Егор Гурин, Go-разработчик из МТС Web Services, предлагает рассматривать тест-драйвен разработку (TDD) не только как метод обеспечения качества кода, но и как эффективный инструмент взаимодействия с языковыми моделями. По его наблюдениям, среди специалистов, использующих LLM в работе, существуют два основных подхода: одни полностью перекладывают ответственность на модель, другие дробят задачи на мелкие шаги. TDD может стать компромиссным решением для обеих групп, так как ИИ хорошо следует четким правилам и паттернам, уже заложенным в проекте.

В данном контексте тесты выполняют двойную функцию: они являются промптом, описывающим ожидаемое поведение, и условием приемки работы агента. Это особенно полезно, когда желаемый результат сложно сформулировать словами, но легко продемонстрировать через ожидаемые выходные данные. Автор отмечает, что этот подход логично дополняет ранее описанную им методологию Document Driven Development, где контракты проектируются до начала разработки.

Для иллюстрации подхода приводится пример реализации бизнес-правила для сущности Order. Правило гласит: заказ может перейти в статус Paid только из статуса Created. Разработчик сначала пишет тесты, покрывающие различные сценарии (оплата созданного, уже оплаченного или отмененного заказа), и получает «красную фазу», так как логика метода Pay() еще не реализована. После запроса к ИИ-агенту модель генерирует код, который проходит все тесты, корректно обрабатывая ошибки переходов между статусами.

Второй пример касается практической задачи поиска по номерам телефонов в разных форматах. Пользователь может ввести номер с префиксами +7, 7, 8, 08 или без них, а в базе данных он также может храниться в различных вариантах. Тесты определяют, что функция должна возвращать все возможные варианты префиксов для валидного номера, но оставлять без изменений нетелефонные номера или пустые значения. ИИ-агент генерирует реализацию с использованием регулярных выражений для извлечения основного номера и последующего добавления всех допустимых префиксов.

Автор подчеркивает, что полученный во втором примере код удовлетворил требованиям без необходимости дополнительного рефакторинга. Таким образом, TDD позволяет «загнать» ИИ-агента в определенные рамки, ограничив его вольность строго заданными контрактами. Это возвращает разработчику роль проектировщика решений, а LLM становится исполнителем с ясным заданием.

Дополнительным преимуществом такого подхода является формирование качественного покрытия кода тестами, особенно в слое приложения, который реализует бизнес-правила продукта. Вместо того чтобы полагаться на интуицию или размытые описания, команда получает объективную метрику успешности работы модели — прохождение тестов. Это делает процесс предсказуемым и воспроизводимым.