Полный ко-дизайн: как NVIDIA решает проблему дефицита памяти в ИИ-фабриках
NVIDIA AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

NVIDIA применяет стратегию полного ко-дизайна для повышения эффективности использования памяти HBM, распределяя нагрузку между GPU, CPU и хранилищами. Это позволяет увеличить пропускную способность агентских приложений на 30 раз при минимальном росте объёма памяти на чип.
Рост моделей и контекстов создаёт критическое давление на память GPU, что делает оптимизацию иерархии хранения ключевым фактором снижения стоимости инференса.
Современные ИИ-модели с триллионами параметров и расширяющимся кэшем KV создают колоссальную нагрузку на высокопроизводительную память (HBM). Традиционный подход по простому увеличению объёма памяти на GPU упирается в так называемую «стену памяти»: пропускная способность ограничивает скорость передачи данных, делая дополнительное пространство неэффективным и дорогим. NVIDIA предлагает альтернативу — полный ко-дизайн, при котором GPU, CPU, сетевое оборудование и программное обеспечение проектируются как единая система для оптимизации каждого байта памяти.
Ключевой элемент этой стратегии — использование формата NVFP4. Он позволяет сократить объём данных для весов модели и кэша KV по сравнению с FP8. Это высвобождает ресурсы HBM для обслуживания большего числа одновременных пользователей. Кроме того, в системе NVL72 веса модели распределяются между 72 GPU, что снижает нагрузку на каждый отдельный чип.
Для управления контекстом, который может достигать миллионов токенов в агентских сценариях, NVIDIA использует многослойную иерархию. Неактивный контекст перемещается из HBM в более дешёвые уровни хранения, такие как память CPU (через NVLink-C2C) или специализированное хранилище CMX. Программное обеспечение Dynamo управляет этим процессом, возвращая данные на GPU именно тогда, когда они нужны для вычислений.
Отдельное внимание уделяется технологиям RAG (генерация с поиском). Модели Nemotron Retriever создают компактные эмбеддинги, а библиотека cuVS позволяет хранить индексы вне HBM. Это гарантирует, что в самой дорогой памяти находятся только те фрагменты данных, которые модель активно обрабатывает.
Результаты такого подхода впечатляют: при переходе от платформы GB300 NVL72 к Vera Rubin NVL72 объём HBM на GPU вырос лишь на 3%, но пропускная способность агентских задач на доллар возросла до 30 раз. Это демонстрирует, что эффективность работы с памятью важнее её простого количества.
Для операторов ИИ-фабрик критически важным метрикой становится количество полезных токенов на ватт энергии. Полный ко-дизайн NVIDIA снижает стоимость каждого токена, максимизируя полезную работу каждого байта памяти в рамках ограниченного энергетического бюджета.