AWS интегрирует NVIDIA Dynamo в SageMaker HyperPod для оптимизации инференса LLM

AWS Machine Learning · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Amazon Web Services представила поддержку фреймворка NVIDIA Dynamo в сервисе SageMaker HyperPod Inference, что позволяет эффективно запускать крупные языковые модели на нескольких GPU-устройствах. Интеграция обеспечивает дисагрегированную обработку промптов и генерацию токенов, а также интеллектуальное маршрутизацию для снижения задержек.

Запуск больших языковых моделей (LLM) часто упирается в ограничения памяти одного GPU-устройства и конфликты между обработкой входных данных и генерацией вывода. Новая интеграция позволяет распределить нагрузку по нескольким узлам, используя высокоскоростную сеть EFA, что критически важно для производительности современных AI-приложений.

Эффективная работа с большими языковыми моделями требует не только значительных вычислительных мощностей, но и тонкой координации процессов обработки промптов и генерации токенов. Как отмечают в Amazon Web Services, веса некоторых моделей, например GLM-5.3 в формате FP8, превышают 640 ГБ видеопамяти, доступной на одном инстансе ml.p5.48xlarge, еще до учета кэша KV и накладных расходов на время выполнения. Кроме того, длинные промпты могут замедлять генерацию токенов, если оба процесса конкурируют за ресурсы одного GPU. Чтобы решить эти проблемы, SageMaker HyperPod Inference теперь поддерживает NVIDIA Dynamo — открытый фреймворк распределенного инференса, который объединяет возможности многоузловой развёртки с инфраструктурным управлением HyperPod.

NVIDIA Dynamo поддерживает дисагрегированную архитектуру, где этапы префилла (обработка промпта) и декодирования (генерация токенов) выполняются на отдельных пулах рабочих узлов. Это позволяет независимо масштабировать и настраивать каждый этап. Фреймворк совместим с популярными движками инференса, такими как vLLM, SGLang и TensorRT-LLM. Сторона AWS обеспечивает эту связку высокоскоростной сетью Elastic Fabric Adapter (EFA), согласованным планированием GPU и мониторингом здоровья узлов с автоматической заменой неисправных.

Архитектура интеграции включает несколько ключевых компонентов: HyperPod Inference Operator управляет развертыванием конечных точек, Dynamo operator контролирует ресурсы, а Grove координирует группы подов. Планировщик Kubernetes AI (KAI) использует gang scheduling для обеспечения того, чтобы все поды, необходимые для многоузлового рабочего процесса, запускались одновременно. AWS Deep Learning Containers предоставляют рантайм для Dynamo, а аддоны управляют версиями компонентов.

Пользователи могут выбрать один из двух путей развертывания: использовать собственный манифест DynamoGraphDeployment (DGD) или настроить конечную точку через InferenceEndpointConfig с параметрами dynamoSpec. Второй вариант предлагает знакомый формат конфигурации и OpenAI-совместимый интерфейс, что упрощает переход для существующих пользователей HyperPod. По умолчанию используется движок vLLM, но доступны и другие варианты. Оба подхода поддерживают как одноузловые, так и многоузловые конфигурации.

В качестве примера AWS приводит развертывание модели GLM-5.3 на двух инстансах ml.p5.48xlarge (16 GPU). В режиме агрегированного обслуживания один репликатор модели работает на обоих узлах, а два фронтенд-репликатора обрабатывают запросы. При включении KV-aware routing система учитывает переиспользование префиксов и нагрузку на рабочих узлов, что снижает время до первого токена и предотвращает перегрузку.

Бенчмарки, проведенные с использованием AIPerf, демонстрируют преимущества дисагрегированной архитектуры. Для модели Qwen3-235B-A22B-FP8 на двух инстансах p5en.48xlarge (16 H200 GPU) дисагрегированный режим показал пропускную способность 207 токенов в секунду на GPU при конкурентности 80, что в 2,05 раза выше показателя агрегированного режима (101 токен/с). Эти результаты достигнуты при соблюдении требований к задержкам: P90 времени до первого токена менее одной секунды и медианной скорости генерации не менее 50 токенов в секунду на пользователя.

Также была протестирована многоузловая агрегированная развёртка модели Qwen3.5-397B-A17B-FP8 с использованием vLLM. Хотя эта модель помещается в память одного инстанса, тест на двух узлах (4 GPU на каждом) показал, что конфигурация из двух узлов сохранила 99,1% пропускной способности одноузловой версии (126,4 токена/с на GPU). Это подтверждает, что граница между узлами не становится значительным препятствием для производительности при использовании Dynamo на HyperPod.

Для оптимизации инференса AWS рекомендует начинать с подходящего рецепта Dynamo, проверять использование транспорта EFA для межузловой коммуникации и проводить бенчмаркинг на репрезентативном трафике. Настройка должна базироваться на измеренных узких местах, изменяя топологию и распределение рабочих узлов перед настройкой параметров движка. Источник: web:AWS Machine Learning — https://aws.amazon.com/blogs/machine-learning/managed-nvidia-dynamo-on-amazon-sagemaker-hyperpod-inference/