Hugging Face Transformers v5.21: новые модели TTS и улучшения кэширования
github:huggingface/transformers · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Библиотека Hugging Face Transformers получила версию 5.21.0, которая добавляет поддержку шести новых архитектур моделей, включая специализированные решения для распознавания документов и синтеза речи. Обновление также вносит критические изменения в механизмы параллелизма и кэширования, требующие внимания разработчиков при миграции.
Релиз расширяет возможности локального запуска сложных мультимодальных моделей и оптимизирует работу с памятью через новые методы квантования и распределения экспертов, что важно для эффективного инференса на современном оборудовании.
Команда Hugging Face выпустила версию 5.21.0 библиотеки Transformers, которая существенно расширяет каталог поддерживаемых архитектур. Среди новых моделей выделяется MiniCPM-OCR от OpenBMB, специализирующаяся на чтении текстово-насыщенных изображений, таких как сканы документов и таблицы. Архитектура модели сочетает визуальный энкодер SigLIP с языковой моделью Qwen3.5, что позволяет эффективно обрабатывать сложные визуальные данные.
Важным добавлением стала поддержка Flint — модели с архитектурой mixture-of-experts от компании Recursive. В отличие от стандартных трансформеров, она использует гибридное внимание и обученные attention sinks. Также в библиотеку интегрированы UltraVBert для понимания визуальных документов и две модели синтеза речи: Pocket TTS от Kyutai и Gradium Phonon TTS. Pocket TTS выделяется способностью работать быстрее реального времени на CPU, используя непрерывные аудио-латенты, тогда как Gradium Phonon TTS ориентирована на работу на устройствах с использованием предвычисленных латентов голоса.
Релиз содержит несколько breaking changes, которые могут повлиять на существующие проекты. В частности, изменена логика импорта процессоров Gemma4 для устранения ошибок в средах без torch. Более существенно, что теперь тензорное параллелизм (TP) по умолчанию разделяет входные эмбеддинги, а все планы MoE TP и EP обязательно шардят экспертов. Это означает, что модели больше не хранят всех экспертов на каждом ранке, что экономит память, но требует обновления кастомных конфигураций параллелизма.
Значительное внимание уделено улучшению работы с кэшем (cache). Flash Attention теперь корректно работает со статическими кэшами, а BLOOM перестал падать при использовании compiled generate. Введены новые геттеры для линейного внимания, которые скрывают внутренние детали кэша и готовят основу для paged-caching. Эти изменения повышают стабильность генерации и снижают потребление памяти при длительных сессиях.
В секции квантования добавлена поддержка FP4-экспертов для DeepSeek-V4.1 через новый параметр expert_dtype в конфигурации FineGrainedFP8Config. Это позволяет более гибко управлять точностью вычислений для разных частей модели. Также исправлены ошибки приведения типов в TimesFM 2.5 при загрузке с квантованием, что устраняет несовместимости между float-входами и integer-веса.
Обновление включает многочисленные исправления багов в генерации, особенно для мультимодальных моделей вроде HunYuan-VL и Idefics3. Исправлена обработка прозрачности PNG в визуальных процессорах, теперь она композитится на белый фон вместо черного. Добавлен план тензорного параллелизма для Nemotron и исправлены градиенты диспетчеризации токенов в expert-parallel режиме для версий torch 2.7–2.10.
В целом, версия 5.21.0 представляет собой значительный шаг вперед в поддержке современных архитектур LLM и мультимодальных моделей, с акцентом на эффективность инференса и стабильность работы в распределенных средах. Разработчикам рекомендуется проверить свои конфигурации параллелизма и кэширования при обновлении.