Hugging Face добавила поддержку Mistral Large 4 в библиотеку Transformers

github:huggingface/transformers · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Библиотека Hugging Face Transformers получила официальную поддержку модели Mistral Large 4, которая характеризуется как крупнейшая и наиболее способная разработка компании Mistral. Обновление также включает значительные технические улучшения для работы с квантованными моделями FP8 и исправления множества ошибок.

Интеграция флагманской модели Mistral Large 4 расширяет возможности разработчиков по работе с мультимодальными системами искусственного интеллекта, обладающими контекстным окном в 1 миллион токенов. Одновременно улучшенная поддержка обучения адаптеров на квантованных весах снижает требования к вычислительным ресурсам при тонкой настройке моделей.

Команда Hugging Face выпустила обновление версии 5.22.0 для популярной библиотеки Transformers, ключевым элементом которого стала поддержка Mistral Large 4. По заявлению разработчиков, это крупнейшая и наиболее функциональная модель от Mistral на сегодняшний день. Архитектурно она представляет собой нативно мультимодальную систему с архитектурой Mixture-of-Experts (MoE), содержащую около 1 триллиона общих параметров, из которых активно используются 49 миллиардов на каждый токен. Модель обучалась с нуля на 3800 графических процессорах NVIDIA Grace Blackwell в собственных дата-центрах Mistral в Европе.

Mistral Large 4 объединяет в едином наборе весов способности к следованию инструкциям, логическому рассуждению, программированию и агентным сценариям. Компания отмечает высокую производительность модели в таких областях, как кибербезопасность, финансы и право, а также превосхождение закрытых фронтир-моделей в задачах визуального привязывания (visual grounding). Модель нативно поддерживает более 160 языков, включая все официальные языки Европейского союза.

Среди ключевых технических характеристик выделяется контекстное окно длиной 1 миллион токенов, что позволяет обрабатывать объемные документы и длинные диалоги. Визуальный модуль построен на базе энкодера в стиле Pixtral, способного работать с изображениями различных размеров и пропорций. Пользователи могут настраивать уровень усилий рассуждения (reasoning effort) на три уровня: низкий, средний и высокий, что позволяет адаптировать поведение модели под быстрые ответы или сложные агентные задачи.

Важным техническим нововведением релиза стала поддержка обучения адаптеров (например, LoRA через PEFT) поверх квантованных моделей FP8. В предыдущих версиях обратное распространение ошибок для таких весов было ограничено. Теперь добавлены механизмы обратного прохода для плотных и групповых матричных умножений FP8. Это позволило сократить пиковое потребление памяти в слое MoE при обратном проходе с примерно 28,9 ГиБ до 2,8 ГиБ при обработке последовательностей длиной 8k токенов.

Обновление также содержит ряд исправлений ошибок и улучшений производительности. Разработчики устранили лишние предупреждения процессоров, исправили проблемы с буферизацией в ClapFeatureExtractor и корректность работы с fp16 переполнением в модели timesfm. Кроме того, были оптимизированы механизмы загрузки моделей, чтобы избежать преждевременного импорта тяжелых библиотек, что ускоряет запуск пайплайнов.

Лицензионные условия Mistral Large 4 основаны на измененной версии лицензии MIT (Mistral Ecosystem Open-Weight License), разрешающей коммерческое и некоммерческое использование. Однако для запуска бизнеса по предоставлению модели как услуги (Model-as-a-Service) требуется отдельная коммерческая лицензия от Mistral.