Оптимизация локальных LLM: как квантизация и маршрутизация повышают производительность инференса

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

На воркшопе NVIDIA в Берлине участники продемонстрировали, что переход на формат FP8 позволяет ускорить генерацию Qwen3-32B почти на 50% без замены оборудования. Также были протестированы инструменты для управления нагрузкой, включая разделение этапов обработки и маршрутизацию с учетом кеша.

Материал демонстрирует практические методы оптимизации работы больших языковых моделей на существующем оборудовании, что критически важно для снижения затрат на инфраструктуру ИИ.

На конференции GTC Berlin 2026 архитекторы NVIDIA Amit Kushwaha и Yesika Ramirez Cardenas провели практический воркшоп, посвященный оптимизации производительности локальных больших языковых моделей. Основным результатом стало ускорение генерации модели Qwen3-32B с 16,4 до 24,5 токена в секунду за счет использования формата FP8 вместо BF16. Эксперименты проводились на Kubernetes-кластере с четырьмя видеокартами NVIDIA A100 емкостью 80 ГБ каждая. По данным инженера Siim Tolk, общая пропускная способность также выросла на 12,5%, достигнув 719 токенов в секунду, хотя прирост для отдельного пользователя оказался значительно выше.

Важным техническим нюансом является то, что видеокарты A100 не поддерживают нативные FP8 Tensor Cores, характерные для более новых архитектур NVIDIA. Это означает, что само по себе использование формата FP8 не гарантирует выполнение вычислений в восьмибитном режиме на аппаратном уровне. Тем не менее, уменьшение разрядности весов с 16 до 8 бит снижает объем данных, которые необходимо хранить и передавать, что положительно влияет на скорость инференса. Авторы материала подчеркивают, что полученные результаты специфичны для данной конфигурации и нагрузки, а качество ответов после квантизации в ходе эксперимента не проверялось.

Второй блок занятия был посвящен управлению трафиком через Envoy AI Gateway. Участники настроили единый API-эндпоинт для маршрутизации запросов к нескольким моделям, используя Gateway API вместо устаревающего Ingress. Такой подход позволяет реализовать сложные сценарии, такие как canary rollout или request mirroring, для безопасного обновления моделей. Ключевым отличием LLM-сервисов от обычных REST API является необходимость ограничения расхода токенов, а не просто количества запросов, поскольку один длинный запрос может потреблять значительно больше ресурсов.

Для автоматического масштабирования использовался инструмент KEDA, который отслеживает метрики vLLM, такие как количество выполняющихся и ожидающих запросов. Это позволяет более точно реагировать на нагрузку, чем стандартные показатели загрузки CPU или памяти. Отдельное внимание было уделено проблеме мониторинга GPU utilization в DCGM, где неправильное сопоставление показателей с контейнерами может приводить к ложным данным о загрузке.

Третий этап включал работу с фреймворком NVIDIA Dynamo, который позволяет разделить этапы prefill (обработка промпта) и decode (генерация ответа) между разными группами GPU. Такой подход, известный как disaggregated serving, дает возможность масштабировать эти стадии независимо в зависимости от характера нагрузки. Например, при работе с длинными документами требуется больше ресурсов на prefill, тогда как генерация длинных ответов нагружает decode-процесс.

Dynamo также предлагает маршрутизацию с учетом KV-кеша, что позволяет повторно использовать уже обработанные фрагменты контекста в диалогах и RAG-системах. Это снижает вычислительные затраты за счет пропусков части операций. Дополнительно рассматривались инструменты для оценки производительности, такие как AIPerf и AIConfigurator, а также FlashAttention для оптимизации вычислений attention. В финальном задании участники самостоятельно конфигурировали Dynamo для новой модели Qwen3-1.7B, сравнивая различные режимы работы.

Для пользователей с одной видеокартой многие инструменты из воркшопа избыточны, однако эксперименты с квантизацией и настройками движка инференса остаются актуальными. При выборе конфигурации важно учитывать не только скорость генерации, но и время до первого токена, потребление памяти и качество ответов. Источник: web:Habr AI — https://habr.com/ru/articles/1107848/