Hugging Face выпустила патч v5.20.2 для исправления ошибок в мультимодальных моделях
github:huggingface/transformers · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Команда Hugging Face опубликовала обновление библиотеки transformers версии 5.20.2, устраняющее критический баг с потерей типов входных данных. Патч также оптимизирует работу с градиентами в bfloat16 и улучшает производительность маскирования.
Исправление ошибок в обработке мультимодальных данных и оптимизация вычислений критически важны для стабильности работы современных LLM-приложений.
Библиотека transformers от Hugging Face получила патч-релиз версии 5.20.2, направленный на повышение стабильности работы генеративных моделей. Согласно официальным данным, ключевым изменением в этом обновлении стало решение проблемы, при которой некоторые входные данные теряли свой исходный тип внутри функции prepare_inputs_for_generation. Этот дефект создавал серьезные трудности при работе с мультимодальными моделями, где корректная передача типов данных между компонентами является критически важной для получения точных результатов.
Помимо исправления основного бага, релиз включает ряд других технических улучшений, зафиксированных в коммитах. Разработчик Cyrilvallez внес изменения в приведение типов словаря входных данных в функции generate (коммит #49731). Это должно обеспечить более предсказуемое поведение API при обработке различных форматов данных.
Отдельное внимание уделено оптимизации работы с параллельными вычислениями. Как указано в коммите #49688 от qgallouedec, исправлена проблема с нулевыми градиентами экспертов при использовании формата bfloat16 в сочетании с экспертной параллельностью, когда размер экспертной параллели (ep_size) меньше размера FSDP (fsdp_size). Это изменение потенциально повышает эффективность обучения и инференса крупных моделей, распределенных по нескольким устройствам.
Также в релизе заявлено уточнение деклараций входных модальностей для визуальных языковых моделей (VLMs), которые сообщают только о текстовом содержимом (коммит #49677 от qgallouedec). Это должно помочь фреймворку более корректно определять тип обрабатываемых данных и избегать неоправданных вычислительных затрат.
Производительность была улучшена за счет устранения лишнего копирования данных с хоста на устройство в функции eager_mask, как отметил разработчик hmellor в коммите #49684. Подобные микрооптимизации накапливаются и могут приводить к заметному ускорению работы приложения, особенно при высокой нагрузке.
Выпуск v5.20.2 представляет собой типичный патч-релиз, не содержащий новых функций, но решающий существующие ошибки. Для разработчиков, использующих библиотеку transformers в продакшене или исследовательских целях, обновление рекомендуется к установке для устранения описанных проблем с типами данных и градиентами.