Метод Concertina: сжатие нейросети Qwen3-4B вдвое без потери ключевых функций
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Исследователи представили метод Concertina, позволяющий уменьшить размер языковой модели Qwen3-4B почти наполовину, сохранив около 85% исходного качества. Новая архитектура использует «сворачивание» соседних слоев и требует значительно меньшего объема данных для дистилляции по сравнению с обучением моделей с нуля.
Технология открывает путь к запуску мощных языковых моделей на устройствах с ограниченной оперативной памятью, снижая требования к железу без необходимости полного переобучения.
В сфере искусственного интеллекта продолжается поиск способов сделать большие языковые модели (LLM) более доступными для локального запуска. Группа исследователей предложила новый подход под названием Concertina, который позволяет сжать модель Qwen3-4B почти вдвое, сохранив при этом около 85% ее исходного качества. В отличие от традиционных методов, где лишние слои просто удаляются, что приводит к потере глубины рассуждений, авторы применили технику «сворачивания». Соседние слои исходной модели объединяются в общие блоки, которые исполняются дважды, а не один раз. Это позволяет сохранить эффективную глубину архитектуры, равную 36 слоям, хотя уникальных блоков становится вдвое меньше.
Технически процесс выглядит следующим образом: каждая пара соседних слоев заменяется одним общим блоком. Линейные матрицы берутся из первого слоя пары, а второй проход получает поправку ранга 64, инициализированную с помощью усеченного SVD разности исходных слоев. Для каждого токена поток поправки масштабируется специальным гейтом, а нормализации RMSNorm остаются уникальными для каждого прохода. После такой сборки модель проходит этап дистилляции из той же Qwen3-4B. В результате количество параметров снижается с 4,02 млрд до 2,27 млрд, что означает потерю 43% веса модели.
Эффективность метода подтверждается сравнением с более мелкой моделью Qwen3-1.7B. Несмотря на то что Concertina обучалась всего на 22 млрд токенов, она превосходит Qwen3-1.7B (обученную на 36 трлн токенов) по большинству ключевых метрик. В частности, сжатая модель показывает лучшие результаты в тестах base-7, Pro, GPQA, BBH, GSM8K и MATH. Отставание наблюдается лишь в бенчмарках MMLU и Redux, где разница минимальна. Авторы отмечают, что задачи на рассуждения сохраняются лучше всего (около 90% качества учителя), тогда как сложные знания теряют больше (75–80%).
Практическая значимость метода заключается в экономии памяти. Размер весов в формате bf16 уменьшается с 8,0 ГБ до 4,5 ГБ. Это критически важно для устройств, где ограничена оперативная память. Однако вычислительная нагрузка на токен остается примерно прежней, поскольку каждый общий блок исполняется дважды. Кроме того, размер KV-кэша не меняется по сравнению с исходной Qwen3-4B. В карточке модели отсутствуют замеры скорости и пропускной способности, поэтому для серверного инференса, где приоритетом является скорость, преимущества метода пока не подтверждены.
Код реализации доступен в открытом репозитории под лицензией Apache 2.0. Он включает функции fold_model и distill_loss, а также самотест на CPU. На данный момент опубликован единственный чекпоинт, и другие конфигурации (размер группы, ранг) не представлены. Исследователи рекомендуют проверить метод на моделях других семейств и измерить реальную скорость работы на GPU. Если производительность не вырастет, Concertina останется инструментом для оптимизации памяти, но не скорости.