Hugging Face Transformers v5.23.0: новые мультимодальные модели и переработанный экспорт

github:huggingface/transformers · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Выпуск v5.23.0 библиотеки Transformers добавляет поддержку шести новых архитектур моделей, включая Inkling2 и LFM3, а также вводит унифицированный класс ExportedModel для работы с различными бэкендами. Обновление также содержит критические изменения API, исправления ошибок в визуальных моделях и улучшения механизмов параллельных вычислений.

Релиз расширяет возможности разработчиков по интеграции передовых мультимодальных моделей и оптимизации их производительности через стандартизированный экспорт в ONNX Runtime и OpenVINO, что упрощает деплой на разном оборудовании.

Команда Hugging Face выпустила версию 5.23.0 библиотеки Transformers, которая приносит значительные обновления в поддержку новых архитектур и инструментов оптимизации. Среди ключевых нововведений — добавление шести новых семейств моделей. В их число входят Inkling2 Small от Thinking Machines Lab, мультимодальная модель с архитектурой mixture-of-experts (MoE), способная обрабатывать текст и изображения; LFM3 и LFM3-VL от Liquid AI, использующие гибридную архитектуру с короткими свертками и групповым вниманием; а также Dots 3 Note Preview, поддерживающая входные данные в форматах текста, изображений, видео и аудио. Кроме того, библиотека теперь поддерживает JEV — экспериментальную «голову решения» для оценки одно-токеновых меток, а также кодовые модели IQuestCoder и языковую модель InternLM3 от Shanghai AI Laboratory.

Особое внимание в этом релизе уделено переработке системы экспорта моделей. Теперь функция export() возвращает объект ExportedModel, который позволяет сохранять, загружать и запускать модели на различных бэкендах, таких как ONNX Runtime, OpenVINO, Dynamo и ExecuTorch, используя единый API. По данным разработчиков, такая интеграция обеспечивает существенное ускорение: например, при использовании TensorRT EP в ONNX Runtime производительность может быть в 7,6 раза выше по сравнению с обычным PyTorch на GPU A100. Для OpenVINO заявлено ускорение декодирования в 2,4–3,9 раза благодаря использованию сжатых ядер для внимания и MoE-экспертов.

Важно отметить, что релиз содержит ряд ломающих изменений (breaking changes). Удалена поддержка стиля expert-parallel ep_router, а также устаревшие компоненты обработки аудио, такие как librosa и phonemizer. Изменены методы сохранения экспортированных моделей: опции output_path в конфигурациях ONNX и OpenVINO заменены на save_pretrained. Эти изменения требуют обновления кода пользователей, чтобы избежать ошибок при загрузке и выполнении моделей.

Раздел, посвященный визуальным моделям, включает исправление множества ошибок, влияющих на корректность работы. В частности, исправлены проблемы с порядком осей RoPE в Step3.7, изоляция упакованного внимания в MiniMax-M3-VL и обработка позиций в Qwen VL при повторном использовании кэша. Также улучшена работа chunked prefill, теперь он корректно сохраняет входные изображения в первом чанке, что повышает стабильность генерации для мультимодальных задач.

В области параллельных вычислений и распределенного обучения введены новые возможности для expert parallelism. Теперь доступна выборка реализации ep_implementation: all-reduce для инференса с поддержкой CUDA-графов и all-to-all для обучения. Также оптимизирован процесс редукции градиентов в FSDP/HSDP, которые теперь выполняются только на последнем микробатче, что снижает накладные расходы.

Библиотека также получила исправления в механизмах кэширования и внимания. Устранены ошибки в статическом кэше для Gemma4, DeepSeek-V4 и Mistral Large 4. В модуле внимания исправлены проблемы с NaN-значениями при левом падении в Qwen4-Exp и некорректным применением каузальной маски в Kosmos-2. Эти изменения направлены на повышение надежности и предсказуемости работы моделей в различных сценариях использования.