Четыре параметра инференса в Amazon Bedrock, влияющие на стоимость

AWS Machine Learning · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Стоимость запросов к Amazon Bedrock зависит не только от выбора модели, но и от настроек уровня запроса. Ключевыми факторами являются длительность кэширования промптов, выбор сервисного уровня, интенсивность рассуждений и лимиты выходных токенов.

Оптимизация этих параметров позволяет снизить расходы на инфраструктуру ИИ без потери качества, что критично для масштабирования генеративных приложений.

После настройки промптов и логики приложения расходы на инференс в Amazon Bedrock могут продолжать расти. Это происходит из-за того, что параметры уровня запроса влияют на количество обрабатываемых токенов и применяемые тарифы. Четыре ключевых фактора — длительность кэша, сервисный уровень, усилие рассуждений и лимит maxTokens — способны изменить стоимость без замены модели или изменения текста запроса. Каждый из этих параметров требует проверки поддержки конкретной версией модели.

Кэширование промптов позволяет избежать повторной обработки системных инструкций и определений инструментов. Amazon Bedrock предлагает явное кэширование с временем жизни (TTL) 5 минут или 1 час для поддерживаемых моделей Anthropic, а также минимальный TTL в 30 минут для моделей GPT-5.6. Важно понимать, что более длительный кэш не всегда дешевле: стоимость записи в кэш на 1 час выше, чем на 5 минут. Экономия наступает только при повторном использовании префикса в пределах этого времени. Если запросы с одинаковым префиксом приходят реже, чем раз в 5 минут, пятиминутный кэш может оказаться убыточным из-за постоянных перезаписей.

Для фоновых задач и процессов, не требующих минимальной задержки, доступен сервисный уровень Flex. Он позволяет снизить стоимость инференса, например, вдвое для модели Amazon Nova 2 Lite в регионе us-west-2 по сравнению со стандартным уровнем. Однако поддержка Flex зависит от модели: для Claude Sonnet 5 и Opus 5 этот уровень недоступен, и попытка его использования приводит к ошибке ValidationException. При разработке приложений необходимо обрабатывать такие ошибки и при необходимости переключаться на стандартный уровень, соблюдая ограничения на количество повторных попыток.

Модели Claude Sonnet 5 и Opus 5 по умолчанию используют адаптивное мышление с высоким усилием, что увеличивает расход выходных токенов. Токены рассуждений тарифицируются как выходные, поэтому снижение усилия до низкого или среднего уровня может существенно сократить затраты на рутинные задачи. Однако точность результата зависит от сложности задачи: для некоторых операций снижение усилия не влияет на качество, тогда как для других это может привести к ошибкам. Рекомендуется тестировать разные уровни усилия на реальных задачах и выбирать минимально достаточный.

Параметр maxTokens задает верхний предел выходных токенов, что служит защитой от бесконечных циклов или избыточно подробных ответов. Amazon Bedrock вычитает сумму входных токенов и maxTokens из квоты при начале запроса, поэтому завышенный лимит снижает общую конкурентность системы. В тесте с Claude Sonnet 5 установка лимита в 155 токенов вместо 2048 позволила сэкономить 1893 выходных токена на одном запросе. Однако важно учитывать, что обрезанный ответ может нарушить логику многошаговых агентных процессов.

Для калибровки лимитов рекомендуется анализировать распределение выходных токенов по типам задач, используя перцентили P95 и P99. Это позволяет установить разумный запас прочности, минимизируя риск обрезки валидных ответов. При включенном адаптивном мышлении maxTokens ограничивает и токены рассуждений, поэтому калибровку следует проводить с учетом этого фактора. Мониторинг остановок по max_tokens помогает выявлять проблемы с промптами до повышения лимитов.

Итоговая стратегия оптимизации включает проверку поддержки каждого параметра для конкретной модели и региона, последовательное изменение одной настройки за раз и измерение влияния на токены и стоимость. Необходимо вести реестр возможностей каждой версии модели, включая поддерживаемые уровни кэша и сервисные тирсы. Перед отправкой запроса следует валидировать параметры против этого реестра, а после — проверять метаданные ответа для подтверждения примененных настроек.