Amazon SageMaker Inference: как AWS решает проблемы масштабирования и оптимизации LLM в 2026 году
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

AWS представила второй пакет обновлений для Amazon SageMaker Inference, направленных на решение практических задач эксплуатации больших языковых моделей. Ключевые нововведения включают автоматический подбор конфигураций, совместное размещение моделей на одном GPU и управление распределенными инференс-кластерами.
Эти обновления снижают операционную нагрузку на команды ML-инженеров, позволяя автоматизировать подбор ресурсов, оптимизировать затраты на GPU и упростить обслуживание моделей, которые не помещаются в память одного устройства.
После вывода модели в продакшн перед инженерными командами встают сложные вопросы: как подобрать оптимальную конфигурацию под реальный трафик, как разместить несколько моделей на одном GPU и что делать, если следующая модель слишком велика для одного узла. Второй обзор запусков Amazon SageMaker Inference в 2026 году фокусируется именно на этих практических аспектах эксплуатации, предлагая инструменты для автоматизации рутинных задач и повышения эффективности использования инфраструктуры.
Одной из ключевых функций стала интеграция рекомендаций по инференсу (Inference recommendations) в различные среды разработки. Если ранее подбор конфигураций требовал ручного запуска бенчмарков через API, теперь эта возможность доступна в SageMaker AI Studio как низкокод-воркфлоу и в SageMaker Python SDK v3. Это позволяет инженерам запускать анализ прямо из ноутбуков или CI/CD пайплайнов. Система автоматически тестирует кандидаты на реальном GPU-оборудовании, используя NVIDIA AIPerf, и предлагает варианты, оптимизированные под минимизацию латентности, максимизацию пропускной способности или снижение затрат.
Отдельное внимание уделено работе с адаптерами LoRA (Low-Rank Adaptation). Поскольку каждый адаптер занимает место в памяти GPU, снижая количество одновременных запросов, AWS добавила поддержку бенчмаркинга комбинаций количества адаптеров и конкурентности. Система теперь может находить баланс между количеством специализированных моделей и производительностью, возвращая ранжированные результаты для конкретного профиля нагрузки. Также внедрен поиск по SLA (Service Level Agreement), который автоматически определяет максимальную конкурентность, при которой модель не нарушает заданные лимиты латентности и ошибок.
Для экономии ресурсов AWS расширила возможности Inference Components, добавив управление ими через веб-консоль SageMaker AI. Теперь можно размещать несколько моделей на одном эндпоинте, независимо масштабируя каждый компонент вплоть до нуля копий. Это особенно важно для сценариев, где мелкие модели (например, эмбеддинги или классификаторы) ранее занимали целые ускорители. Дополнительно внедрена поддержка NVIDIA Multi-Instance GPU (MIG), позволяющая делить физический GPU на изолированные разделы с выделенной памятью и вычислительными мощностями.
Для моделей, превышающих объем памяти одного устройства, AWS предлагает управляемую версию фреймворка NVIDIA Dynamo на базе HyperPod Inference. Это решение обеспечивает мультинодовый шардинг модели, разделение процессов префилла (обработки промпта) и декода (генерации токенов) на разных пулах GPU, а также маршрутизацию с учетом кэша KV. Управляемый характер сервиса снимает с команды необходимость самостоятельно поддерживать Kubernetes-кластеры, управлять сетевыми соединениями EFA и восстанавливать работоспособность при сбоях узлов.
Наконец, для улучшения производительности в мультирегиональных сценариях внедрена маршрутизация с учетом состояния кэша KV (KV-cache-aware routing). В отличие от предыдущих методов, основанных на истории запросов, новая система использует данные о состоянии кэша, которые сообщает сам контейнер модели. Это позволяет направлять запросы на инстансы, где уже хранится соответствующий префикс промпта, что критически важно для многоходовых диалогов и длинных контекстов. Все эти инструменты интегрированы в экосистему AWS, позволяя командам гибко выбирать уровень автоматизации и контроля над инфраструктурой.