vLLM 0.33.0: поддержка новых моделей, переход на PyTorch 2.14 и оптимизация декодирования

github:vllm-project/vllm · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Выпуск vLLM 0.33.0 расширяет поддержку моделей, включая Reflection Beam-1.0 и Yandex AliceAI-Foundation-80B-A3B, а также обновляет базовый стек до PyTorch 2.14.0. Обновление приносит значительные улучшения производительности декодирования на GPU NVIDIA и AMD, новые механизмы спекулятивного декодирования и упрощает управление контейнерами.

Обновление критически важно для разработчиков LLM-инфраструктуры, так как оно стандартизирует окружение на актуальных версиях PyTorch и CUDA, расширяет совместимость с новыми архитектурами моделей (MoE, гибридные) и предлагает конкретные инструменты для снижения латентности и увеличения пропускной способности на разном оборудовании.

Команда vLLM представила версию 0.33.0, которая стала результатом работы 389 участников и включает 927 коммитов. Ключевым техническим изменением является переход на PyTorch 2.14.0 с torchvision 0.29.0 и Triton 3.8.0. При этом разработчики прекратили публикацию артефактов для CUDA 12.9, сделав CUDA 13.0 единственным поддерживаемым стандартом для официальных колес и образов Docker. Это решение направлено на упрощение поддержки и использование преимуществ новых вычислительных ядер.

Среди добавленных моделей выделяются Reflection Beam-1.0 (501B MoE) с поддержкой DFlash2 drafter, Yandex AliceAI-Foundation-80B-A3B с гибридным вниманием Kimi Delta Attention, а также Recursive Flint, Muse Spark Open и Step-5 Preview. Поддержка расширена для NVIDIA Alpamayo 2 Super, Nemotron-Labs Dory1.0-4B и MiniCPM-OCR 1.0. Для пользователей AMD ROCm версия по умолчанию теперь использует ROCm 10.0, хотя ROCm 7.2 остается доступным через отдельный тег.

Значительное внимание уделено спекулятивному декодированию. Введены новые механизмы XPress и FLy, а также оптимизации для DFlash/DSpark, которые больше не резервируют слоты в бюджете токенов. По данным из pull request, это позволило увеличить скорость вывода DeepSeek-V4.1-Flash + DSpark на GB300 с 1373 до 3390 токенов в секунду. Также добавлена квантизация draft lm_head, что дает прирост производительности декодирования при низкой конкурентности.

На стороне NVIDIA представлены оптимизации для GB300 и Blackwell. Для Kimi-K3 и DeepSeek-V4.1-Flash реализовано специализированное декодирование с латентностью, ускоряющее процесс в 1.5–2 раза при TP8/TP16. Для DeepSeek-V4/V4.1 на Hopper-картах (H200) использование MXFP4 экспертов через Humming обеспечивает ускорение декодирования на 9–21%. Также улучшена работа FlashInfer DCP prefill, снизив среднее время до первого токена (TTFT) на 39–48% при вводе 100k токенов.

Для платформы AMD ROCm внедрена технология MonoKernel decode для DeepSeek-V4.1-Flash и MiniMax-M3, что повышает интерактивность и снижает время обработки токена (TPOT). Введена поддержка 3–4 битового KV кэша через ROCM_OCTAVE, позволяющего хранить в 4.6 раза больше токенов по сравнению с fp16 на RX 7900 XTX. Также добавлена поддержка архитектуры gfx1250 для ряда популярных моделей.

API и инфраструктура обслуживания получили новые возможности. Появился эндпоинт /v1/decisions, совместимый с OpenAI, а также поддержка late chunking для эмбеддингов. Улучшена надежность: добавлен watchdog для дампа трассировок стека зависших процессов, а запуск воркеров при TP > 1 теперь происходит параллельно, экономя до 50 секунд при TP8. Все релизные образы Docker теперь доступны под более коротким именем vllm/vllm, что упрощает их использование.