NVIDIA Nemotron 3.5 Super VL: мультимодальная модель для агентного ИИ на инфраструктуре AWS
AWS Machine Learning · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Компания NVIDIA представила открытую мультимодальную модель Nemotron 3.5 Super VL, которая объединяет текстовые и визуальные задачи в одном решении. Материал демонстрирует архитектуру модели и методы её развёртывания на Amazon EKS и SageMaker HyperPod для оптимизации производительности агентных систем.
Модель предлагает эффективное решение для сложных агентных сценариев, сочетая низкие вычислительные затраты на токен с поддержкой длинного контекста и мультимодальности. Это позволяет компаниям внедрять продвинутый ИИ в рабочие процессы разработки, анализа документов и кибербезопасности на управляемых облачных платформах.
NVIDIA расширила линейку моделей Nemotron, добавив версию 3.5 Super VL, которая дополняет уже доступные варианты Nano, Super, Ultra и Lightning. Это открытая мультимодальная модель с архитектурой mixture-of-experts (MoE), содержащая 120 миллиардов параметров, из которых активируется лишь 12 миллиардов на каждый токен. Такой подход позволяет сохранять вычислительную эффективность модели значительно меньшего размера, при этом полная масса весов размещается в памяти GPU. Модель поддерживает входные данные в виде текста, изображений, документов и видео, выдавая текстовый результат, что делает её универсальным инструментом для задач, требующих как логического вывода, так и визуального анализа.
Архитектурно Nemotron 3.5 Super VL использует гибридную структуру, сочетающую слои Mamba-2, механизмы внимания и экспертные блоки. Применение Mamba-2 обеспечивает состояние постоянного размера во время генерации, что предотвращает рост потребления памяти с увеличением длины последовательности, характерный для стандартных KV-кэшей. Это критически важно для работы с контекстом длиной до 1 миллиона токенов. Кроме того, модель оснащена рекурсивно разделяемой головой Multi-Token Prediction (MTP), которая поддерживает нативное спекулятивное декодирование, повышая скорость вывода.
Согласно данным NVIDIA, модель демонстрирует высокие результаты в специализированных тестах: 63,44% на Hermes Bench, 87,05% в оценках агентов LangChain и 80,8% на бенчмарке CharXiv для рассуждений по графикам. Модель интегрируется с популярными открытыми фреймворками агентного ИИ через референсные реализации NVIDIA Agent Toolkit. Основные сценарии применения включают анализ кода и ошибок, верификацию источников веб-поиска, извлечение данных из таблиц и диаграмм, а также поиск уязвимостей в кибербезопасности и анализ видеопотоков.
Для развёртывания на платформе AWS компания предлагает использовать Amazon EKS, EKS Auto Mode или SageMaker HyperPod EKS. В этих конфигурациях AWS управляет масштабированием и поддержкой GPU, а Kubernetes-манифесты остаются идентичными для всех вариантов оркестрации. Инфраструктура включает CPU-узлы для системных задач и GPU-узлы для работы модели, с использованием Amazon ECR для контейнеров и общего тома FSx for Lustre для хранения весов. Связь между GPU-узлами осуществляется через Elastic Fabric Adapter (EFA).
Производительность модели обслуживается через NVIDIA Dynamo, который поддерживает как агрегированный режим на одном узле, так и дисагрегированный, где этапы prefill и decode выполняются на разных машинах. Для мультимодальных моделей этап кодирования изображений также может быть вынесен на отдельный узел. Архитектура была проверена на инстансах p6-b200.48xlarge и p5en.48xlarge, оснащённых восемью GPU NVIDIA B200 или H200 соответственно.
Оценка производительности проводится с помощью инструмента NVIDIA aiperf, который измеряет ключевые метрики: время до первого токена (TTFT), задержку между токенами (ITL) и пропускную способность. Анализ зависимости этих показателей от уровня конкурентности позволяет оптимизировать топологию развёртывания. Например, если ITL растёт, это указывает на необходимость увеличения мощности декодирования, а рост TTFT сигнализирует о необходимости расширения ресурсов prefill. Такой подход помогает точно рассчитать количество реплик для соблюдения целевых показателей уровня сервиса (SLO).
Материал подчёркивает важность автоматизации мониторинга GPU и EFA, а также проведения нагрузочных тестов для принятия обоснованных решений о масштабируемости. Переход на новые версии библиотек или изменение точности вычислений можно сразу оценить по смещению кривых производительности. Это обеспечивает гибкость в настройке инфраструктуры под конкретные требования задержки и пропускной способности.