vLLM ускоряет Kimi K3: как агентные оптимизации меняют подход к верификации GPU-ядер
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Команда vLLM представила результаты глубокой оптимизации модели Kimi K3 на NVIDIA GB300, достигнув скорости декодирования свыше 840 токенов в секунду. Ключевым аспектом публикации является новый процесс разработки, где ИИ-агенты пишут высокопроизводительные ядра, а строгие протоколы изоляции и тестирования обеспечивают надежность кода.
Материал демонстрирует переход к автоматизированной оптимизации инференса с помощью ИИ-агентов. Это критически важно для понимания того, как сообщество решает проблему баланса между скоростью разработки сложных GPU-ядер и необходимостью гарантировать стабильность в продакшене, предлагая новую модель верификации кода.
Оптимизация производительности больших языковых моделей традиционно является одной из самых сложных задач в области системного программирования. В недавней публикации команда vLLM описала процесс ускорения работы модели Kimi K3 на аппаратной платформе NVIDIA GB300. Разработчики использовали ассистированную ИИ-агентами разработку для создания унифицированного пути декодирования на базе CuTe DSL, который покрывает операции внимания, MoE (Mixture of Experts) и коммуникацию между 8 или 16 GPU. Результатом стало достижение показателя свыше 840 токенов в секунду при батче 1, что обеспечивает рост пропускной способности декодирования в 1,5–2 раза по сравнению с базовой конфигурацией.
Техническая реализация опирается на несколько ключевых методов. Во-первых, разработчики подобрали специализированные ядра для разных размеров батчей: для малых батчей используются ядра для малых матриц, а для больших — split-K ядра, распределяющие вычисления между GPU. Во-вторых, реализовано перекрытие вычислений и коммуникации: проекция вывода внимания напрямую сливается с операцией all-reduce, что позволяет минимизировать задержки при обмене данными через NVLink. В-третьих, улучшено планирование MoE: расчеты маршрутизации и проекции латентных входов распределяются по рангам tensor parallelism, а вычисления общего эксперта выполняются на отдельном потоке для балансировки нагрузки.
Особое внимание в статье уделяется процессу разработки. Авторы отмечают, что скорость генерации оптимизированного кода ИИ-агентами превышает возможности ручного ревью и поддержки. Чтобы справиться с этим дисбалансом, vLLM предлагает новый подход, основанный на четырех принципах: изоляция изменений в коде конкретной модели, ограничение области применения оптимизаций, систематическая верификация корректности и масштабирование валидации. Это позволяет снизить нагрузку на ревьюеров, которые могут оценивать архитектуру и доказательства работоспособности, а не каждую строку кода.
Важно подчеркнуть разницу между тестами ядер и оценками модели. Тесты ядер проверяют численные результаты для различных форм входных данных, тогда как оценки модели гарантируют, что полный путь выполнения сохраняет ответы модели. В ходе разработки Kimi K3 были выявлены тонкие ошибки, например, перемещение компилятором чтений активаций до синхронизации, которые не обнаруживались при простых функциональных проверках. Это подчеркивает необходимость глубокого тестирования на реальных сценариях, включая длинные контексты и генерацию.
Результаты оптимизации подтверждены бенчмарками. При использовании DSpark (синтетическая длина принятия 6) Kimi K3 достигает 842 токенов в секунду на 16 GPU GB300, что на 73% быстрее стандартного vLLM. На рабочей нагрузке AgentX, имитирующей сессии кодинг-агентов, оптимизированная версия показывает на 80% более высокую интерактивность P90 по сравнению с предыдущими результатами.
Команда также анонсировала применение аналогичных паттернов для других моделей. Для DeepSeek-V4.1-Flash уже реализована поддержка до 64 конкурентных запросов и спекулятивного декодирования, а ранние результаты для Meta Muse Spark Open превысили 950 токенов в секунду на пользователя. В планах также оптимизация GLM5.3 для сценариев низкой конкурентности.
Этот подход демонстрирует, как сообщество может эффективно использовать возможности ИИ-агентов для ускорения разработки, сохраняя при этом высокие стандарты надежности и воспроизводимости результатов. Источник: hackernews — https://vllm.ai/blog/2026-10-16-kimi-k3-megakernel