Nvidia представила кластер DGX Spark HPC Developer Kit для локального запуска больших ИИ-моделей

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

На конференции SC26 в Чикаго Nvidia анонсировала компактный вычислительный кластер из четырёх узлов DGX Spark с суммарным объёмом памяти 512 ГБ. Устройство предназначено для локального запуска AI-моделей размером до 700 млрд параметров и разработки распределённых приложений.

Решение позволяет исследователям и разработчикам выполнять ресурсоёмкие расчёты и отлаживать распределённые приложения локально, без необходимости аренды мощных облачных ресурсов или строительства крупных дата-центров.

На конференции Supercomputing (SC26) в Чикаго компания Nvidia представила новое решение для высокопроизводительных вычислений — DGX Spark HPC Developer Kit. Это компактный кластер, состоящий из четырёх отдельных компьютеров DGX Spark, которые объединены в единую систему с суммарным объёмом оперативной памяти 512 ГБ. Данный набор ориентирован на исследователей и разработчиков, которым требуется локальная инфраструктура для запуска крупных AI-моделей, отладки распределённых приложений и проведения ресурсоёмких научных расчётов.

Каждый узел кластера построен на базе суперчипа GB10 Grace Blackwell. В его состав входит 20-ядерный Arm-процессор и графический ускоритель архитектуры Blackwell. Важной особенностью является использование общей для CPU и GPU памяти типа LPDDR5X объёмом 128 ГБ на каждый узел. Суммарный объём NVMe-хранилища во всём кластере составляет 16 ТБ, что обеспечивает достаточное пространство для хранения моделей и данных.

С точки зрения производительности, пиковая вычислительная мощность каждого отдельного узла достигает 1 петафлопса в операциях с точностью FP4. Для обеспечения высокой пропускной способности между узлами используется сетевая карта Nvidia ConnectX-7. Узлы соединяются между собой в топологию кольца, при этом каждый компьютер связан с двумя соседями. Такая архитектура позволяет обойтись без отдельного сетевого коммутатора для подключения узлов, что упрощает сборку и снижает стоимость инфраструктуры.

В Nvidia отмечают, что совокупных вычислительных возможностей этого кластера достаточно для локального запуска AI-моделей размером до 700 млрд параметров. Это открывает возможности для работы с крупными языковыми моделями и другими сложными нейросетевыми архитектурами непосредственно в исследовательских лабораториях или офисах компаний, без зависимости от внешних облачных сервисов.

Помимо аппаратной части, компания готовит программное обеспечение для поддержки научных приложений. Nvidia разрабатывает инструкцию по развертыванию HPC SDK, который включает GPU-ускоренные компиляторы для языков C, C++ и Fortran. Также в пакет входят специализированные библиотеки и средства обмена сообщениями MPI, необходимые для эффективной работы распределённых вычислительных задач.

Комплект DGX Spark HPC Developer Kit уже доступен для заказа. Однако на официальном сайте компании не указана конкретная цена набора; для получения коммерческого предложения необходимо оставить заявку. Для сравнения, если приобрести четыре отдельных устройства DGX Spark с 128 ГБ памяти и SSD-накопителем объемом 4 ТБ, их стоимость составит почти 28 тысяч долларов США. Эта сумма не включает в себя стоимость коммутационного оборудования и других дополнительных компонентов, необходимых для сборки полноценной системы.