Как кэширование промптов снижает затраты на работу ИИ-агентов в Amazon Bedrock
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

ИИ-агенты тратят значительные ресурсы на повторную обработку контекста при каждом шаге, что увеличивает стоимость и задержки. Использование явного и неявного кэширования промптов в Amazon Bedrock позволяет сократить расходы на входные токены до 64% за счет повторного использования сохраненного состояния модели.
Оптимизация стоимости и производительности критически важна для масштабирования агентных систем, где каждый шаг требует передачи полного контекста модели.
ИИ-агенты функционируют по принципу, напоминающему фильм «День сурка»: при каждом действии они обязаны передавать модели всю историю предыдущих взаимодействий, включая инструкции, определения инструментов и результаты вызовов. Поскольку большие языковые модели не имеют внутренней памяти между запросами, они вынуждены заново обрабатывать каждый входной токен, что приводит к многократным затратам на вычисления. По мере роста сессии эта нагрузка экспоненциально увеличивается, делая стандартный подход экономически неэффективным для длительных задач.
Технология кэширования промптов решает эту проблему, сохраняя состояние модели (векторы ключей и значений) после первой обработки входных данных. При последующих запросах, начинающихся с идентичного текста, сервис загружает сохраненное состояние вместо его пересчета, обрабатывая только новые элементы. В Amazon Bedrock доступны два режима: неявное кэширование, где система автоматически определяет границы переиспользуемого префикса, и явное, где разработчик вручную размечает точки сохранения с помощью параметра prompt_cache_breakpoint. Эксперты рекомендуют использовать оба подхода совместно для максимальной эффективности.
Для успешного кэширования критически важна стабильность входных данных. Повторное использование срабатывает только при точном совпадении текста, поэтому инструкции и списки инструментов должны сериализоваться одинаковым образом в каждом запросе. Изменения в дате, имени пользователя или порядке следования инструментов могут инвалидировать кэш. Минимальный размер кэшируемого префикса составляет 1024 токена, а время жизни записи (TTL) — не менее 30 минут, которое продлевается при успешном повторном использовании.
В ходе тестов с моделью GPT-6 Astra было зафиксировано снижение стоимости входных токенов на 62% при использовании неявного кэширования и на 61% при явном в шеститурной рабочей нагрузке. В другом сценарии со стартовым префиксом в 8000 токенов и шестью ходами по 2000 токенов каждый, применение кэширования снизило стоимость сессии с $0.87 до $0.32, что составляет экономию в 64%. Эти результаты демонстрируют значительный потенциал для оптимизации бюджетов на инфраструктуру ИИ.
При работе с субагентами и параллельными вызовами рекомендуется сначала выполнить «прогрев» общего префикса обычным запросом, а затем запускать вспомогательные агенты. Это позволяет всем дочерним процессам использовать один и тот же кэшированный контекст, избегая дублирования вычислений. Важно сохранять стабильный prompt_cache_key для всех запросов, предназначенных для совместного использования кэша, так как смена ключа изолирует сессии даже при совпадении промптов.
Мониторинг эффективности кэширования осуществляется через метрики CloudWatch, такие как CacheReadInputTokenCount и CacheWriteInputTokenCount, а также через анализ отчетов о стоимости в AWS Cost Explorer. Разработчикам следует внимательно следить за тем, чтобы изменяемые данные находились после границы кэша, а общие инструкции — перед ней. Такой подход обеспечивает баланс между гибкостью агентных сценариев и экономическими выгодами от повторного использования вычислительных ресурсов.