Huawei представляет MACaQ: квантование моделей для локального инференса
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда Huawei CSL представила MACaQ — инструмент квантования, поддерживающий текстовые, визуальные и аудиомодели в форматах GGUF и W4A4. Разработчики утверждают, что метод позволяет сократить время квантования модели на 122 млрд параметров до 64 минут при использовании 32,5 ГБ памяти устройства.
MACaQ расширяет возможности локального запуска ИИ-моделей, предлагая единый подход к квантованию различных типов данных (текст, видео, аудио) и снижая требования к вычислительным ресурсам по сравнению с существующими методами.
Команда исследователей из Huawei CSL опубликовала MACaQ — метод квантования моделей с открытым исходным кодом, ориентированный на локальный инференс и работу за пределами текстовых задач. Инструмент поддерживает генерацию текста, изображений, видео и аудио через такие фреймворки, как llama.cpp, vLLM, Diffusers и PyTorch. Авторы проекта позиционируют MACaQ как модель-агностичное решение, способное работать с различными архитектурами нейросетей без необходимости глубокой адаптации под каждый конкретный случай.
Ключевым преимуществом инструмента заявляется высокая эффективность использования ресурсов. Согласно данным разработчиков, квантование модели с 122 миллиардами параметров занимает 64 минуты при использовании всего 32,5 ГБ памяти устройства. В сравнении с методами MR-GPTQ и DuQuant++, MACaQ демонстрирует более низкую перплексность (показатель качества генерации) или достигает сопоставимых результатов на модели Llama-3-8B в 11 раз быстрее по времени квантования.
Поддержка различных бэкендов позволяет гибко подходить к задачам. Для работы с диффузионными трансформерами используется режим W4A4, что позволяет сохранять чекпоинты в формате safetensors и генерировать мультимедийный контент. В случае с текстовыми моделями для llama.cpp поддерживаются форматы GGUF с разрядностью 2, 3 и 4 бита. Разработчики также отмечают возможность сравнения качества квантованных моделей Qwen3-4B по размеру файла и расхождению KL-распределения относительно FP16.
Для серверного инференса и генерации текста через vLLM доступен режим W4A4 или только квантование весов. Инструмент также охватывает генерацию речи в PyTorch, где сохраняется возможность загрузки чекпоинтов без повторной калибровки. Все компоненты требуют использования Python 3.12 и отдельных сред выполнения для каждого бэкенда, при этом llama.cpp поддерживает запуск на CPU.
Интеграция с аппаратным обеспечением Huawei Ascend осуществляется через CANN pull requests, включающие ядра PTO-ISA и TileLang. Полное выполнение моделей требует интеграции с инференс-рантаймом Ascend. Проект распространяется под лицензией Apache License 2.0, а для научных работ рекомендуется цитировать статью Muller et al. (2026) в arXiv.
MACaQ представляет собой значимый шаг в развитии инструментов для локального развертывания ИИ, предлагая универсальное решение для квантования разнородных моделей. Снижение требований к памяти и времени обработки делает передовые нейросети доступными для работы на менее мощном оборудовании.