Nodul оптимизировала запуск DeepSeek V4.1 Flash: вдвое меньше видеокарт, в шесть раз выше скорость

CNews AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Nodul разработала метод Lossless Expert Tiering, позволяющий развернуть модель DeepSeek V4.1 Flash на двух видеокартах Nvidia H200 вместо стандартных восьми. Благодаря переносу редко используемых весов в оперативную память медианная скорость генерации выросла с 5,4 до 36,4 токена в секунду при 20 параллельных сессиях.

Оптимизация снижает стоимость инфраструктуры для локального развертывания ИИ-агентов, что критично для компаний с ограничениями на отправку данных во внешние API.

Штатная конфигурация движка vLLM для работы с моделью DeepSeek V4.1 Flash предполагает использование восьми видеокарт Nvidia H200. Однако разработчики из компании Nodul продемонстрировали возможность развертывания этой модели на двух таких устройствах, что существенно меняет экономику локального инференса. Представитель Nodul сообщил CNews, что для достижения высоких показателей производительности команда доработала движок vLLM, внедрив собственный подход к управлению памятью.

Ключевой проблемой являлась нехватка видеопамяти: на каждой H200 после загрузки драйвера и движка оставалось около 139 ГБ, тогда как только веса модели требовали порядка 147 ГБ, не считая места под контекст рабочих сессий. Чтобы решить эту задачу, инженеры проанализировали частоту обращения модели к различным подсетям (экспертам). Выяснилось, что некоторые компоненты используются значительно чаще других. На основе этих данных была разработана стратегия Lossless Expert Tiering: востребованные веса оставили в видеопамяти GPU, а редко используемые перенесли в оперативную память сервера.

Первый этап оптимизации основывался на публичной статистике использования модели. Размещение наиболее популярных экспертов на GPU позволило поднять скорость генерации до 17,3 токена в секунду на агента при 20 параллельных сессиях. Однако команда Nodul заметила, что при работе с кодом модель задействует иной набор экспертов. После сбора статистики на нагрузке, близкой к реальным задачам кодинг-агентов, и переноса соответствующих весов на GPU, скорость выросла еще на 62%, достигнув 28,1 токена в секунду.

Дальнейшее улучшение произошло за счет динамического управления памятью. Поскольку резерв видеопамяти под контекст был занят менее чем наполовину, часть ресурсов освободили для дополнительных экспертов. Движок также научился менять их размещение в реальном времени без перезапуска системы. Совокупность этих изменений привела к росту медианной скорости до 36,4 токена в секунду на агента, что в шесть раз превышает исходные 5,4 токена.

Важно отметить, что полученная раскладка не является универсальной. Поскольку модель обращается к разным экспертам в зависимости от типа задачи, конфигурация, собранная под одну нагрузку, может работать менее эффективно на другой. Для проверки стабильности Nodul воспроизвела 1018 запросов из рабочих сессий Claude Code. Результаты показали, что при 20 параллельных сессиях генерация начиналась в течение 2,5 секунды в девяти случаях из десяти.

Экономическая выгода от оптимизации значительна. По оценке Александра Данилова, генерального директора Nodul, аренда сервера с восемью GPU может стоить около 4 млн рублей в месяц. В то же время стоимость двух H200 при почасовой аренде составляет 400–500 тыс. рублей в месяц, если выключать сервер на ночь. Для команды из 25–27 разработчиков это эквивалентно расходам в 15–20 тыс. рублей на человека.

Такой подход особенно актуален для небольших и средних команд, которым служба безопасности запрещает отправлять код и документы во внешние API. Все замеры проводились на одном сервере Selectel с 360 ГБ оперативной памяти. Источник: web:CNews AI — https://ai.cnews.ru/news/line/2026-11-17_nodul_zapustila_deepseek_v41_flash