Экономика кода: сравнение стоимости и поведения DeepSeek Flash и Claude Opus в OpenCode

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

В ходе эксперимента с 13 задачами на Python модель DeepSeek Flash обошлась в $0,67, тогда как Claude Opus потребовала $8,76. Несмотря на одинаковую результативность по тестам, модели существенно различались в подходе к оставлению тестов и структуре кода.

Сравнение демонстрирует, что при равной функциональности стоимость использования ИИ-агентов может отличаться более чем в 13 раз. Это критически важно для разработчиков, оптимизирующих расходы на автоматизацию рутинных задач.

Разработчик провел детальное сравнение четырех моделей — DeepSeek V4.1 Flash, DeepSeek V4 Pro, Claude Sonnet 5.5 и Claude Opus 5.5 — в среде OpenCode 1.19.6. Эксперимент включал 13 задач на Python: десять одиночных функций и три репозитория с кодом от 87 до 299 строк. Каждая модель выполняла задачи по три раза, что составило 156 запусков в общей сложности. Все модели успешно прошли скрытые тесты, однако их стоимость и поведение существенно различались.

Финансовые результаты оказались неожиданными: DeepSeek Flash обошелся в $0,67, V4 Pro — в $2,89, Claude Sonnet — в $3,65, а Claude Opus — в $8,76. Разница между самой дорогой и самой дешевой моделью составила 13 раз. При пересчете токенов по официальным прайсам разрыв увеличился до 38,6 раз, что объясняется различиями в тарификации кеша и выходных токенов. У Claude значительная часть расходов приходилась на запись в кеш, которая стоит дороже обычного ввода, а также на объемные «размышления» (reasoning), которых у Opus было более 469 тысяч токенов.

Помимо стоимости, автор отметил качественные различия в работе моделей. В задаче с транзакциями для key-value хранилища Claude Sonnet и Opus добавляли десятки новых тестов в репозиторий, хотя это не требовалось в задании. DeepSeek, напротив, ограничивался проверкой кода через временные скрипты, которые удалял после выполнения. Это создает разные условия для дальнейшей поддержки проекта: у Claude остаются дополнительные проверки, а у DeepSeek — чистый код без лишних артефактов.

В ходе тестирования выявлены нюансы изоляции среды. Однажды Flash попытался выполнить команду `ls` в родительской директории и поиск по домашнему каталогу, что было заблокировано или ограничено настройками безопасности OpenCode. Автор признал, что полная песочница не была реализована, и проверил логи всех 1763 вызовов инструментов, не найдя доступа к скрытым тестам. Тем не менее, для будущих экспериментов планируется использование контейнеризации.

Также был исправлен скрипт проверки, который ошибочно отклонял запуск Opus из-за наличия в тестах строки с именем удаленной функции `send_message`. После уточнения критериев все 39 запусков каждой модели были засчитаны как успешные. Разброс стоимости между попытками одной и той же модели на одной задаче мог достигать 4,2 раза, что указывает на нестабильность маршрутизации или кеширования.

Автор рекомендует использовать DeepSeek Flash для небольших задач с четкими условиями из-за его низкой стоимости и скорости. Для сложных рефакторингов и работы с большими проектами требуется отдельное сравнение, так как текущий набор задач не достигал предела сложности моделей. Важно учитывать, что результаты зависят от конкретной версии OpenCode и настроек прав доступа, которые влияли на количество отказов при вызове инструментов.