Amazon SageMaker ИИ внедряет маршрутизацию с учетом кэша KV для оптимизации LLM
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

AWS представила новую стратегию маршрутизации KV-aware routing для Amazon SageMaker AI, которая повышает эффективность работы больших языковых моделей. Функция направляет запросы на инстансы, уже содержащие соответствующий кэш в памяти GPU, что значительно снижает задержки и увеличивает пропускную способность.
Оптимизация инфраструктуры для генеративного ИИ критически важна для снижения затрат и повышения скорости отклика в корпоративных приложениях.
Компания Amazon Web Services объявила о внедрении новой функции KV cache-aware routing (маршрутизация с учетом кэша KV) для реальных конечных точек Amazon SageMaker AI. Эта стратегия разработана для команд, обслуживающих большие языковые модели (LLM) в условиях многоходовых диалогов, длинных общих промптов или высокой нагрузки. В отличие от предыдущих подходов, новая система использует фактическое состояние кэша, сообщаемое контейнером модели, для принятия решений о маршрутизации запросов.
Проблема, которую решает эта функция, заключается в неэффективности использования памяти GPU при обработке повторяющихся частей текста. При стандартной маршрутизации на основе префиксов (prefix-aware routing) система направляет запросы на один инстанс на основе хэширования начала текста. Однако этот метод не учитывает, что кэш может быть очищен из-за нехватки памяти или что длина диалога еще не достигла порога для стабильного хэширования. В результате запросы могут попадать на инстансы, где нужный контекст уже отсутствует, что приводит к повторным вычислениям и росту задержек.
Новая стратегия работает в три этапа: контейнер модели публикует события о сохранении или удалении записей кэша KV; SageMaker AI поддерживает управляемый индекс этого состояния; конечная точка использует этот индекс для выбора оптимального инстанса. Индекс содержит только усеченные хэши содержимого, а не сами промпты или токены, что обеспечивает конфиденциальность данных. При поступлении запроса система токенизирует промпт и ищет совпадения в индексе, направляя запрос на инстанс с наибольшим количеством закэшированных токенов, если он не перегружен.
По данным AWS, тестирование на базе модели Llama 3.1 70B Instruct на инстансах ml.p5.48xlarge показало значительное улучшение производительности. По сравнению со случайной маршрутизацией, KV-aware routing сократил медианное время до первого токена (p50 TTFT) до 97% и увеличил пропускную способность до 234%. Также отмечен рост частоты попадания в кэш KV с 3–48% до 80–93%. Эти результаты достигнуты при работе с длинными промптами (до 64 000 токенов) и высокой нагрузкой.
Для активации функции необходимо выполнить два шага: добавить переменную окружения SM_VLLM_KV_EVENTS_CONFIG в конфигурацию модели для включения событий кэша и установить RoutingStrategy в значение KV_AWARE в настройках конечной точки. Клиенты взаимодействуют с API без изменений, используя стандартные методы InvokeEndpoint или OpenAI-совместимый интерфейс. Функция требует наличия минимум двух инстансов или копий компонента вывода для работы маршрутизатора.
KV-aware routing наиболее эффективен для сценариев с многоходовыми диалогами и приложениями RAG (Retrieval Augmented Generation), где контекст постоянно расширяется, а память GPU находится под давлением. В таких случаях система точно отслеживает, какой инстанс хранит актуальную часть истории диалога, избегая отправки запросов на узлы с очищенным кэшем. Если ни один инстанс не имеет полезного совпадения или все они перегружены, система автоматически переключается на маршрутизацию с учетом нагрузки (load-aware routing).
На момент запуска функция поддерживается в контейнерах AWS vLLM Deep Learning Container для SageMaker AI с версиями vLLM 0.33.0 и выше. Для мониторинга эффективности рекомендуется использовать метрики частоты попадания в кэш и времени отклика, так как логи решений маршрутизатора не передаются в консоль SageMaker AI. Источник: web:AWS Machine Learning — https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-ai-real-time-endpoints-now-support-kv-cache-aware-routing/