Hugging Face Transformers 5.18.0: поддержка новых мультимодальных моделей и критические изменения
github:huggingface/transformers · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Библиотека Hugging Face Transformers получила обновление версии 5.18.0, включающее интеграцию четырёх новых архитектур моделей от NVIDIA, NAVER и Alibaba. Релиз также содержит ряд ломающих изменений в обработке изображений и индексирующих слоях, а также обширный список исправлений ошибок.
Обновление расширяет возможности разработчиков по работе с потоковой обработкой аудио, мультимодальным выводом и оптимизацией производительности на различных аппаратных платформах, включая ROCm и XPU.
Команда Hugging Face выпустила версию 5.18.0 библиотеки Transformers, которая приносит значительные обновления в поддержку новых архитектур нейросетей. Ключевым нововведением стала интеграция модели Nemotron 3 Diarization от NVIDIA. Это открытая модель для потоковой идентификации говорящих, способная обрабатывать до восьми спикеров в реальном времени. Согласно документации, модель использует механизм Arrival-Order Speaker Cache и поддерживает настраиваемые профили задержки, варьирующиеся от буфера ввода в 80 миллисекунд до офлайн-режима с буфером в 30,4 секунды.
В релизе также представлена NemotronH Omni — мультимодальная модель рассуждений, объединяющая гибридную языковую модель Mamba-Transformer с визуальным кодировщиком RADIO и опциональным аудио-кодировщиком. Эта архитектура позволяет модели совместно обрабатывать текст, изображения, видео и звук в едином авто-регрессивном процессе. Помимо этого, библиотека теперь поддерживает HyperCLOVAX Vision V2 от NAVER, которая сочетает языковую основу HyperClovaX с визуальным кодировщиком Qwen2.5-VL и поддерживает цепочки рассуждений через специальные токены.
Еще одной добавленной архитектурой стала GTE, предложенная исследователями из Alibaba. Это двунаправленный энкодер в стиле BERT, который заменяет абсолютные позиционные эмбеддинги на RoPE и использует гейтированный MLP. Эта архитектура лежит в основе нескольких чекпоинтов Alibaba и Snowflake, что делает её важной для задач многоязычного поиска текста.
Разработчикам следует обратить внимание на раздел ломающих изменений. В частности, была изменена маршрутизация Flash Attention 3 для платформы ROCm, а также ускорена обработка изображений в модели DETR. Кроме того, пересмотрена типизация индексирующих слоев и исправлен подсчет видео-токенов для бэкенда vLLM. Эти изменения могут потребовать обновления конфигураций в существующих проектах.
Список исправлений ошибок включает более ста пунктов, затрагивающих различные аспекты работы библиотеки. Среди них — исправление проблем с загрузкой токенизаторов, оптимизация тестов для моделей Nougat и GlmOcr, а также решение проблем с памятью в DeepSeekV3. Также улучшена поддержка аппаратных ускорителей: добавлены ядра активаций для XPU, исправлена работа Flash Attention 2 на MUSA и оптимизирована загрузка моделей на устройствах с ограниченной памятью.
Обновление также затрагивает инфраструктуру тестирования и CI/CD процессы. Введены новые механизмы очистки памяти в тестах, обновлены ожидаемые выходные данные для PyTorch 2.14 и добавлена поддержка GGUF для MoE-моделей. Эти улучшения направлены на повышение стабильности и предсказуемости работы библиотеки в различных окружениях.