Размещение модели GLM-5.3 на двух станциях NVIDIA DGX: технический разбор

Hacker News · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

NVIDIA представила руководство по запуску квантованной модели GLM-5.3 с 753 млрд параметров на двух станциях DGX Station, соединенных через RDMA. Система использует тензорный параллелизм для распределения вычислений и обеспечивает единый API-интерфейс для работы с моделью.

Материал демонстрирует практическое решение проблемы размещения сверхбольших языковых моделей, которые не помещаются в память одного ускорителя. Это важно для понимания современных подходов к локальному инференсу frontier-моделей с использованием распределенных вычислений.

Запуск моделей масштаба frontier на локальном оборудовании сталкивается с фундаментальным ограничением: веса самых крупных нейросетей превышают объем памяти даже мощнейших графических процессоров. В качестве примера NVIDIA рассматривает модель GLM-5.3 NVFP4, квантованную версию архитектуры mixture-of-experts от Z.ai. Несмотря на то что активация каждого токена затрагивает лишь 40 млрд параметров из общего числа в 753 млрд, все веса должны оставаться доступными в памяти, поскольку маршрутизация токенов между экспертами динамична. Чекпоинт модели занимает около 464 ГБ, что значительно превышает 252 ГБ HBM3e, доступных на одном GPU GB300.

Для решения этой задачи используется связка из двух станций NVIDIA DGX Station, соединенных интерфейсом ConnectX-8 RDMA. Архитектура построена на тензорном параллелизме (TP=2), который распределяет веса модели и вычислительные нагрузки между двумя графическими процессорами. В такой конфигурации ни один из ускорителей не хранит полную копию модели; каждый запрос обрабатывается обоими узлами, которые обмениваются промежуточными результатами через высокоскоростной канал RoCE. Станция A выступает в роли хоста API, предоставляя единый OpenAI-совместимый эндпоинт, тогда как станция B работает исключительно как вычислительный воркер.

Процесс развертывания требует тщательной подготовки инфраструктуры. Перед запуском необходимо проверить физическое соединение, включая тестирование RDMA-каналов и синхронизацию времени, чтобы избежать таймаутов NCCL. На обоих узлах устанавливается идентичный образ контейнера vLLM с фиксированным дайджестом, что гарантирует одинаковое программное окружение. Чекпоинт модели копируется на оба устройства, после чего выполняется верификация целостности файлов и структуры данных. Важно отметить, что квантование NVFP4 применяется к линейным весам и активациям MoE-блоков, но не ко всем тензорам, что отражается в конфигурации смешанной точности.

Запуск сервиса осуществляется через скрипт, который инициализирует ранги vLLM на каждом узле. Ключевыми параметрами являются ограничение контекста в 98 304 токена и использование 93% памяти GPU. Система активирует мультитокенное предсказание (MTP) для спекулятивного декодирования, где модель генерирует черновики из четырех токенов за шаг, которые затем верифицируются полным проходом. Это позволяет увеличить скорость вывода при условии высокой доли принятых черновиков. Дополнительно используется KV-кэш в формате FP8, что вдвое снижает потребление памяти по сравнению с 16-битным хранением, и префиксное кэширование для оптимизации обработки повторяющихся частей промптов.

После инициализации, которая занимает несколько минут из-за загрузки весов и подготовки CUDA-графов, система готова к работе. Логи NCCL подтверждают использование GPU Direct RDMA вместо TCP-сокетов, что критично для производительности распределенных вычислений. В памяти каждого GPU размещается примерно 218 ГиБ весов, что соответствует половине общего чекпоинта. Оставшаяся память используется для KV-кэша, который разделяется всеми активными запросами. При исчерпании ресурсов администратору необходимо снизить максимальную длину контекста или ограничить количество одновременных пользователей.

Функциональность проверяется через стандартные API-запросы, включая поддержание вызова инструментов и настройки уровня рассуждений модели. Для оценки производительности под нагрузкой используется инструмент AIPerf от NVIDIA, который измеряет пропускную способность и задержки. Установка бенчмарка рекомендуется выполнять в отдельном виртуальном окружении, чтобы не нарушить зависимости основного контейнера vLLM. Данный подход позволяет эффективно использовать локальную инфраструктуру для работы с самыми большими языковыми моделями, сохраняя контроль над данными и снижая зависимость от облачных сервисов.