Hugging Face Transformers 5.20: поддержка новых моделей и исправление критических ошибок
github:huggingface/transformers · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Библиотека Hugging Face Transformers получила обновление версии 5.20, включающее нативную поддержку семи новых архитектур моделей от Meta, InclusionAI и других разработчиков. Пакет обновлений также содержит важные исправления совместимости с PyTorch и улучшения механизмов квантования при экспорте.
Релиз расширяет возможности локального развертывания передовых моделей, таких как Muse Spark Open и Beam, а также стабилизирует работу распределенного обучения и инференса на различных аппаратных платформах.
Команда Hugging Face выпустила обновление популярной библиотеки Transformers до версии 5.20.1, которое приносит в экосистему поддержку нескольких значимых архитектур нейросетей. Среди ключевых нововведений — интеграция модели Beam от Reflection AI, описываемой как токен-эффективная система масштаба frontier, ориентированная на задачи программирования и агентные сценарии. Разработчики подчеркивают, что модель создана для команд, желающих запускать мощные ИИ-системы на собственном оборудовании или в облаке с возможностью глубокой кастомизации под специфические потребности бизнеса.
Версия 5.20.0, предшествующая патч-релизу, добавила нативную поддержку Muse Spark Open от Meta. Это мультимодальная модель типа mixture-of-experts, принимающая на вход текст, изображения, аудио и видео. Архитектура включает 816 миллиардов общих параметров, из которых активными являются 42 миллиарда на каждый токен, при этом контекстное окно достигает более одного миллиона токенов. Модель обучена для агентных задач кодинга, включая редактирование нескольких файлов и отладку.
Также в библиотеку были включены Ling 3.0 Flash от InclusionAI и Kolibri 1 от Aleph Alpha. Первая представляет собой гибридную языковую модель с использованием механизмов Kimi Delta Attention и Multi-head Latent Attention, а вторая — модель рассуждений, сфокусированная на немецком и английском языках, использующая сигмоидный роутинг экспертов. Кроме того, добавлена поддержка MiniCPM-V 4.7 от OpenBMB, которая внедряет механизм canvas M-RoPE для сохранения пространственных отношений в изображениях и временного порядка в видео.
Среди других новых архитектур — UnlimitedOcr от Baidu, способная транскрибировать десятки страниц текста за один проход благодаря постоянному размеру KV-кэша, а также UltraBERT, семейство двунаправленных текстовых энкодеров для задач классификации и поиска. В релизе также появилась поддержка MOSS-Transcribe-Diarize, модели для сквозного распознавания речи с диаризацией говорящих в длинных аудиофайлах.
Обновление 5.20.1 было выпущено преимущественно для устранения критических ошибок, возникших в предыдущей версии. Разработчики признали, что в v5.20.0 были нарушены процессы загрузки моделей на старых версиях PyTorch, что уже исправлено. Также устранены проблемы с распределенной проверкой контрольных точек и работой DtensorShardOperation на версиях torch 2.6 и 2.7.
Важным аспектом релиза являются изменения в механизмах экспорта моделей. Теперь экспорт через Dynamo, ONNX, OpenVINO и ExecuTorch поддерживает квантование непосредственно в процессе генерации. Единый API квантования позволяет использовать статическое и динамическое квантование, а также сжатие весов до INT8/INT4, что упрощает создание оптимизированных моделей для эффективного инференса.
В области параллелизма улучшена работа распределенного обучения: теперь контрольные точки модели и оптимизатора в конфигурациях FSDP и TP можно сохранять и загружать между различными параллельными настройками. Также исправлены ошибки в статическом кэше generate() при работе с тензорным параллелизмом и улучшена производительность генерации Whisper на TPU за счет сокращения синхронизаций устройств.