Lambda внедряет оптические коммутаторы NVIDIA для повышения надежности ИИ-фабрик

NVIDIA AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Облачный провайдер Lambda использует коммутаторы с коупакованными оптическими модулями (CPO) от NVIDIA Photonics для подключения кластеров из более чем 10 000 GPU. По данным компании, это решение снижает энергопотребление сети и повышает устойчивость к сбоям в крупных инфраструктурах для обучения ИИ.

Сетевая инфраструктура становится критическим узким местом для масштабных AI-кластеров. Переход на коупакованные оптические технологии позволяет снизить потери энергии и повысить отказоустойчивость, что напрямую влияет на производительность и стоимость обучения больших моделей.

Обучение современных моделей искусственного интеллекта требует синхронной работы тысяч графических процессоров, что предъявляет к сетевой инфраструктуре строгие требования к скорости, эффективности и устойчивости. Облачная компания Lambda решает эту задачу, внедряя коммутаторы NVIDIA Photonics с коупакованными оптическими модулями (CPO). Эти устройства используются для соединения стоек NVIDIA GB300 NVL72, формирующих кластеры с более чем 10 000 GPU. Как отмечает Дэйв Уорд, президент облачных сервисов Lambda, поддержание темпа развития сетевых технологий за растущими требованиями к крупным AI-кластерам является ключевой задачей. По его словам, внедрение CPO в масштабах такого развещения — важный шаг к созданию инфраструктуры для следующего поколения ИИ.

В ходе тестирования Lambda зафиксировала снижение сетевой задержки примерно на 4% на уровне стойки и до 10% на уровне подсистемы (pod). При этом пропускная способность сети оставалась на уровне, сопоставимом с традиционными подключаемыми оптическими модулями. Компания подчеркивает, что сетевая эффективность напрямую влияет на продуктивность AI-фабрик: в крупных задачах обучения даже один прерванный канал связи может остановить работу тысяч GPU. Кроме того, при агентном инференсе сетевые сбои могут вызывать каскадные эффекты задержки для множества агентов.

NVIDIA Photonics предлагает значительные преимущества в энергоэффективности и надежности. За счет замены подключаемых трансиверов на коупакованные оптические движки, интегрированные непосредственно в корпус коммутатора, технология обеспечивает до пятикратного улучшения энергоэффективности и до пятнадцатикратного повышения надежности по сравнению с conventional pluggable optics. Также используется в четыре раза меньше лазеров, что снижает количество потенциально уязвимых компонентов.

Архитектура решения включает 144 порта со скоростью 800 Гбит/с на каждом коммутаторе. Система жидкостного охлаждения отводит тепло от чипа и оптических движков. Lambda сообщает о медианной температуре оптики в 36°C, что значительно ниже 51°C у традиционных модулей, а также о более стабильной целостности сигнала. Важным аспектом является возможность замены внешних источников света: каждый коммутатор оснащен 18 съемными модулями, которые можно обслуживать на месте. В отличие от стандартных подключаемых оптических модулей, где при выходе из строя лазера требуется замена всего блока, здесь ремонт проще и быстрее.

Коупаковка сокращает электрический путь передачи сигнала с дюймов до миллиметров, что уменьшает потери сигнала и устраняет необходимость в дополнительных чипах-ретаймерах. Это снижает как энергопотребление, так и количество компонентов в цепочке передачи данных. Таким образом, Lambda демонстрирует практическое применение передовых оптических технологий для создания более устойчивой и эффективной инфраструктуры для масштабного обучения ИИ.