KandiShop: метод повышения точности лиц и текста в ИИ-генерации без дообучения
Habr AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Команда AIRI представила KandiShop — метод постобработки, который исправляет искажения лиц и текста на изображениях, сгенерированных нейросетями. Подход использует двухпоточное управление траекторией генерации внутри трансформера, не требуя изменения весов модели или дополнительного обучения.
Метод решает ключевую проблему современных in-context моделей — потерю высокочастотных деталей при смене сцены. Это позволяет получать фотореалистичные результаты с узнаваемыми лицами и читаемым текстом, превосходящие по точности некоторые коммерческие решения.
Современные генеративные модели, такие как FLUX.2 или Qwen-Image-Edit, способны помещать человека или товар в новую сцену по одной фотографии. Однако часто возникают проблемы: лицо получается «почти» тем же, но теряет уникальные черты, а мелкий текст на упаковке превращается в неразборчивые символы. Исследователи из AIRI объясняют это конфликтом задач внутри диффузионных трансформеров: модель одновременно пытается создать новую композицию и точно скопировать исходные детали, жертвуя вторым ради первого.
Команда провела эксперимент, показавший, что модели обладают достаточной «памятью» для точного копирования. При запросе на создание копии изображения сходство лиц по метрике ArcFace достигало 0,96–0,97, а текст распознавался с высокой точностью. Проблема возникает только при необходимости интеграции объекта в новую среду. На этом основании был разработан метод KandiShop, работающий как постобработка без изменения весов модели.
Алгоритм вырезает целевой объект (лицо или товар) из сгенерированного изображения и выравнивает его относительно референса. Далее запускается двухпоточное расшумление: один поток отвечает за сохранение позы, света и фона, второй — за точное воспроизведение черт лица или текста. Выходы этих потоков смешиваются внутри блоков трансформера по маске объекта. Для корректного освещения применяется нормализация AdaIN, которая переносит цветовые характеристики сцены на объект, сохраняя его структуру.
Тестирование на бенчмарке из 100 лиц показало значительный прирост качества. На модели FLUX.2 klein 9B сходство лиц выросло с 0,519 до 0,748, что превышает показатели коммерческой Nano Banana Pro (0,571). При этом общая эстетика изображения не пострадала. В задачах с товарами KandiShop обеспечил лучшую читаемость текста (OCR F1 0,841), чем у GPT Image 2 High (0,819).
Метод универсален и работает с любыми входными данными, включая изображения из других моделей или реальные фотографии. Он также позволяет выполнять замену головы или товара, а также управлять мимикой, подавая разные текстовые промпты в каждый из потоков. Несмотря на высокую вычислительную стоимость из-за двойного прохода через сеть, использование дистиллированных моделей позволяет обрабатывать изображение за несколько секунд.
Ограничения метода связаны с работой под разными углами обзора: при сильном расхождении ракурсов референса и сцены могут возникать артефакты. Тем не менее, KandiShop предлагает эффективное решение для повышения детализации в генеративном ИИ без необходимости сложного дообучения.