NVIDIA Run: ai и Amazon EKS: точное дробление GPU-памяти для Kubernetes

AWS Machine Learning · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда AWS продемонстрировала возможность совместного использования одного GPU NVIDIA A10G несколькими контейнерами в Amazon EKS с помощью инструмента NVIDIA Run:ai. Тестирование подтвердило, что система успешно ограничивает выделение памяти на уровне 8 ГиБ для каждого подa и корректно блокирует попытки превышения этого лимита.

Решение позволяет оптимизировать использование дорогостоящих GPU-ресурсов в облаке, устраняя проблему простаивающей памяти при работе с легкими интерактивными задачами и небольшими сервисами инференса.

Обычно Kubernetes рассматривает графический процессор как неделимый ресурс: если два контейнера запрашивают по одному GPU, они не могут работать одновременно на одном узле, даже если суммарно им хватает памяти. Это приводит к тому, что ноутбуки разработчиков или короткие задачи оценки моделей простаивают в очереди, пока физическая память GPU остается свободной. Для решения этой проблемы команда Amazon Web Services совместно с NVIDIA протестировала технологию GPU Fractioning на базе платформы Run:ai в среде Amazon Elastic Kubernetes Service (Amazon EKS).

В отличие от аппаратного разделения MIG или простого временного среза (time-slicing), подход Run:ai добавляет программное управление с жесткими контрактами памяти. Валидация проводилась на инстансе g5.xlarge с GPU NVIDIA A10G. Базовый сценарий показал, что при стандартной настройке второй под остается в статусе Pending, несмотря на наличие свободных ресурсов. После установки KAI Scheduler и оператора GPU Fractioning ситуация изменилась: два пода успешно разместились на одном устройстве.

Ключевым аспектом решения является принудительное ограничение памяти. В тесте каждому поду был выделен контракт на 8 ГиБ из доступных 23 ГиБ видеопамяти. Оба контейнера успешно выделили по 6 ГиБ для своих задач. При этом система корректно обработала негативный сценарий: попытка выделить 9 ГиБ привела к ошибке out-of-memory, что подтвердило работу механизмов изоляции. Важно отметить, что это ограничение касается именно памяти, а не вычислительных мощностей; производительность при конкурентной нагрузке требует отдельного измерения.

Техническая реализация потребовала создания кастомного образа Amazon Linux 2023 с драйвером NVIDIA R615, так как стандартные образы EKS на момент тестирования не поддерживали необходимые версии. Инфраструктура использовала компоненты KAI Scheduler и GPU Fractioning Operator, которые интегрируются через NRI (Node Resource Interface) и MPS. Метрики мониторинга позволяли отслеживать потребление памяти каждым подом отдельно, включая накладные расходы CUDA-контекста.

Разработчики подчеркивают, что данный метод не является гарантией безопасности или полной изоляции от сбоев (fault containment). Он предназначен для сценариев, где важнее плотность размещения рабочих нагрузок, чем максимальная изоляция. Для задач, требующих строгого разделения, NVIDIA рекомендует использовать MIG или выделенные GPU. Инструмент особенно полезен для команд, работающих с интерактивными средами разработки и легкими сервисами инференса, которые не требуют полного использования видеокарты.

Выводы из эксперимента показывают, что программное дробление GPU в Kubernetes становится зрелым инструментом оптимизации затрат. Однако перед внедрением в продакшен необходимо тщательно проверить совместимость драйверов, зафиксировать версии компонентов и настроить мониторинг за состоянием MPS и NRI. Источник: web:AWS Machine Learning — https://aws.amazon.com/blogs/machine-learning/using-nvidia-runai-gpu-fractioning-on-amazon-eks/