vLLM 0.32.0: Оптимизация KV-кэша, поддержка новых моделей и усиление безопасности
github:vllm-project/vllm · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Выпуск vLLM 0.32.0 расширяет поддержку низкопрецизионных форматов KV-кэша на новые архитектуры GPU и вводит универсальные парсеры для структурированных ответов. Обновление также включает значительные улучшения производительности запуска, новые модели мультимодального типа и ряд критических исправлений безопасности.
Релиз повышает эффективность инференса LLM за счет оптимизации памяти и вычислений на различных аппаратных платформах, одновременно укрепляя защиту API от типовых уязвимостей.
Команда разработчиков vLLM выпустила версию 0.32.0, которая объединяет 814 коммитов от 363 участников сообщества. Ключевым направлением обновления стала поддержка низкопрецизионных форматов KV-кэша. Формат NVFP4 теперь работает на архитектурах SM8x, SM12x и SM90, а также поддерживает разреженное внимание в модели MiniMax-M3 на SM100. Для моделей серии GLM-5.x установлен формат FP8 по умолчанию на SM100, что, согласно данным проекта, обеспечивает рост пропускной способности на 2,3–5,5%. На платформе ROCm добавлена поддержка 4-битного кэша ultraquant_4bit, который вдвое плотнее FP8.
Важным нововведением стал новый эндпоинт POST /v1/systemone, предназначенный для обработки структурированных решений и вопросов типов choice, noul и score. Этот механизм работает с моделями Cloudflare/clef-omni, LiquidAI/d1-3B и DiffusionGemma. Кроме того, внедрены универсальные парсеры инструментов и рассуждений (hf tool and reasoning parser), которые читают шаблон ответа непосредственно из чекпоинта модели. Это устраняет необходимость в специфичных для каждой модели парсерах, упрощая интеграцию новых моделей как в Python, так и в Rust-интерфейсах.
Раздел Model Runner V2 получил ряд улучшений, включая GPU n-gram speculator с переменными черновиками и эластичную параллельность (Elastic EP). Для пользователей ROCm этот раннер теперь установлен по умолчанию для всех моделей. Производительность запуска и обслуживания также повышена: команда vLLM внедрила общую область памяти для тензоров, что позволяет передавать большие мультимодальные данные в воркеры с одним копированием. При использовании нескольких API-серверов нагрузка распределяется на наименее загруженный узел, что приводит к росту пропускной способности на 43–85% при коротких запросах.
Среди новых поддерживаемых моделей выделяются EmbeddingGemma 2 (омнимодальные эмбеддинги), MiniCPM-V 4.7 и Nemotron 3.5 ASR для потоковой транскрипции. В бэкенде Transformers добавлена поддержка видео-входов, а также расширен список моделей, обслуживаемых через этот интерфейс, включая Glm, Arcee, CWM и другие. Для GLM-5.3 и GLM-5.3-Flash оптимизированы индексы разреженного MLA и внедрено слияние многошагового draft-декода, что ускоряет вывод.
Безопасность получила существенное усиление. Разработчики исправили уязвимости, связанные с исчерпанием ресурсов при обработке chat template, ограничением max_token_id в токенизаторе и исчерпанием P2P ZMQ соккетов. По умолчанию CORS больше не разрешает все источники, а недоверенные изображения ограничены растровыми форматами. Также добавлена проверка глубины вложенности JSON-схем (отклонение уровней глубже 64) и подпись дескрипторов общей памяти для мультимодального кэша.
Пользователям следует учитывать ряд breaking changes: поддержка Python 3.10 прекращена, изменены требования к версиям transformers и tokenizers, а также удалены некоторые экспериментальные функции, такие как cascade attention. Обновление доступно через PyPI для CUDA 13.0, а также в виде Docker-образов для ROCm, XPU и CPU.