AWS SageMaker внедряет аппаратное разделение GPU для оптимизации инференса
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Amazon Web Services представила поддержку технологии NVIDIA Multi-Instance GPU (MIG) в сервисе SageMaker Inference, позволяющую делить физические ускорители на изолированные сегменты. Это решение устраняет необходимость в ручном управлении Kubernetes для разделения ресурсов и обеспечивает более высокую эффективность использования GPU при обслуживании моделей.
Внедрение аппаратного разделения GPU в управляемом сервисе AWS снижает барьер входа для компаний, которым требуется изоляция моделей и оптимизация затрат. Возможность использовать доли современных ускорителей вместо целых старых устройств меняет экономику развертывания ИИ-моделей.
При развёртывании моделей на GPU-эндпоинтах Amazon SageMaker Inference ранее существовало жёсткое ограничение: минимальной единицей запроса выступал целый ускоритель. Это создавало две основные проблемы. Во-первых, количество размещаемых моделей ограничивалось числом физических GPU в инстансе, независимо от того, сколько памяти реально требовалась каждой модели. Во-вторых, разработчики были вынуждены выбирать между недостаточной производительностью старых ускорителей и переплатой за неиспользуемый потенциал новых. Теперь компания Amazon Web Services объявила о поддержке технологии NVIDIA Multi-Instance GPU (MIG), которая позволяет делить физический графический процессор на независимые сегменты с аппаратным обеспечением изоляции.
Технология MIG разделяет один GPU на несколько инстансов, каждый из которых получает выделенную долю вычислительных ресурсов и памяти. В отличие от программного разделения, такое решение гарантирует предсказуемую задержку, поскольку трафик одной модели не влияет на показатели p99 другой. Также обеспечивается изоляция сбоев: ошибка в одном сегменте не приводит к падению всех моделей на устройстве. Это позволяет размещать больше моделей на одном инстансе, сохраняя при этом строгие границы безопасности и производительности.
Ранее для реализации подобного функционала клиентам приходилось самостоятельно управлять стеком Kubernetes, что требовало глубоких знаний в настройке драйверов, планировщиков и конфигурации устройств. Новая функция SageMaker устраняет эту сложность: пользователь выбирает профиль разделения, а платформа AWS автоматически управляет конфигурацией GPU, размещением и масштабированием. Это превращает аппаратную возможность разделения ресурсов в доступный сервис без необходимости обслуживания инфраструктуры.
Компания Salesforce, участвовавшая в определении требований к этой функции, отметила её важность для консолидации рабочих нагрузок. По словам Ричарда Чанга, архитектора программного обеспечения в Salesforce, MIG позволяет безопасно объединять задачи, значительно улучшая утилизацию GPU и снижая затраты на инференс при сохранении предсказуемой производительности. Это особенно актуально для корпоративных клиентов, которым необходимо масштабировать ИИ-инференс эффективно.
С технической точки зрения, разделение GPU добавляет два необязательных поля в существующие API-вызовы. Поле AcceleratorPartitionLayouts определяет, как делится каждый ускоритель, а AcceleratorPartitionType указывает, какой именно сегмент используется моделью. Например, на процессоре A100 можно создать семь вычислительных срезов. Важно отметить, что максимальное количество сегментов зависит от типа GPU и не превышает семи. Разделение происходит при создании эндпоинта, и изменение конфигурации возможно только в состоянии покоя.
При выборе профиля разделения необходимо учитывать баланс между вычислительными мощностями и памятью. Вычислительные ресурсы критичны для этапа prefill (обработки входного промпта), тогда как память определяет возможности этапа decode (генерации токенов) и размер кэша KV. Для модели Llama-3.1-8B-Instruct в формате FP16, например, сегмент с 40 ГБ памяти комфортно обслуживает контекст длиной 8000 токенов. Разработчикам рекомендуется учитывать не только размер весов модели, но и требования к кэшу и накладные расходы на время выполнения.
Тестирование показало, что сегмент H100 (профиль mig-3g.40gb) превосходит целый устаревший A100 по производительности. В различных сценариях нагрузки разделённый GPU демонстрировал на 53–89% больше выходных токенов в секунду и на 8,9–42,1% меньшую задержку между токенами. Кроме того, стоимость обработки миллиона выходных токенов оказалась на 18–34% ниже при определённых уровнях конкурентности. Это подтверждает, что использование доли современного ускорителя может быть более эффективным и экономичным решением, чем аренда целого старого устройства.