Black Forest Labs представила FLUX.3 Image Klein в Diffusers
official-feed:Hugging Face Blog · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Компания Black Forest Labs выпустила открытую модель генерации изображений FLUX.3 Image Klein, доступную через библиотеку Diffusers. Модель поддерживает создание картинок по тексту, редактирование с опорой на референсы и точный контроль компоновки через bounding-box'ы.
FLUX.3 Image Klein предлагает высокую скорость генерации (около 2 секунд на H100) и гибкую архитектуру, позволяющую разрабатывать кастомные пайплайны и обучать LoRA-адаптеры для специфических задач.
Black Forest Labs представила FLUX.3 Image Klein, новую открытую модель генерации изображений, которая теперь доступна в библиотеке Diffusers. Это решение объединяет три ключевые функции: создание изображений по текстовому описанию (text-to-image), многореференсное редактирование (image-to-image) и контроль компоновки с помощью bounding-box'ов. Отличительной чертой модели является скорость: дистиллированная версия генерирует изображение размером 1024×1024 пикселей примерно за 2 секунды на графическом процессоре NVIDIA H100, что делает её пригодной для интерактивных приложений.
Архитектурно FLUX.3 представляет собой модель потока в латентном пространстве (latent-space flow model). В отличие от предыдущих версий, где текстовые и визуальные токены взаимодействовали с самого начала, здесь процесс разделен на два этапа. Сначала каждый тип токенов (текст, шумовое изображение, референсы) проходит через отдельные блоки с уникальными весами, «очищаясь» независимо. На втором этапе все потоки объединяются в одну последовательность и проходят через общие блоки, где изображение учитывает контекст текста и референсов. Такой подход позволяет модели точнее интерпретировать сложные инструкции.
Для работы с текстом используется энкодер Qwen3-VL. Модель не ограничивается только последним слоем языковой модели, а извлекает скрытые состояния из восьми разных слоев (4, 8, …, 32), складывая их в вектор высокой размерности. Это обеспечивает более глубокое понимание семантики промпта. Позиционирование токенов реализовано через ротационные эмбеддинги (RoPE) по четырем осям: временной шаг, высота, ширина и длина последовательности. Такая система координат позволяет модели точно понимать пространственное расположение объектов, что критически важно для функций редактирования и компоновки.
Пользователи могут управлять генерацией не только текстом, но и структурой кадра. В промпт можно добавлять JSON-список регионов с координатами bounding-box'ов (в нормализованной шкале 0–1000). Для задач редактирования модель поддерживает указание источника и цели для каждого региона (src_bbox и tgt_bbox), что позволяет, например, переместить объект в кадре, сохранив остальные элементы неизменными. Это открывает возможности для точного контроля над композицией без необходимости полной перегенерации изображения.
Для разработчиков предусмотрена поддержка квантованных весов (NVFP4 и FP8), которые можно загрузить через from_single_file, что снижает требования к видеопамяти. Также в Diffusers доступны скрипты для обучения LoRA-адаптеров как для генерации с нуля, так и для редактирования изображений по инструкциям. Модель поставляется в формате Modular Diffusers pipeline, позволяя извлекать отдельные блоки или добавлять собственные компоненты, что повышает гибкость интеграции в существующие системы.
Согласно данным Black Forest Labs, дистиллированная чекпоинт работает за 16 шагов, тогда как базовая версия требует 50 шагов с использованием classifier-free guidance. Базовая модель рекомендуется для дообучения, так как она обеспечивает более высокое качество при наличии вычислительных ресурсов. Модель уже доступна в коллекции FLUX.3 Image Klein на Hugging Face, где пользователи могут сразу начать генерацию изображений через веб-интерфейс или локально с помощью Python.