Разбор сбоев momentum-сэмплеров в ComfyUI и поиск эффективных коэффициентов

Habr AI · оригинал

Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.

Автор исследует причину появления артефактов при использовании momentum-вариантов DPM-Solver++ на flow-моделях, выявив несовместимость формул с типом модели. Эксперименты показали, что отрицательный коэффициент momentum способен снижать ошибку генерации на 11–21% при том же числе вычислений.

Понимание математических ограничений сэмплеров критично для оптимизации скорости и качества генерации изображений в ComfyUI, позволяя избежать ложных ожиданий от «улучшенных» алгоритмов.

В сообществе разработчиков нейросетевых пайплайнов возник спор о полезности так называемого momentum-сэмплирования. Автор публикации, используя ComfyUI и пакет ComfyUI-Extra-Samplers, обнаружил, что алгоритм dpmpp_dualsde_momentumized генерирует на flow-модели Anima не изображение, а бледно-голубой силуэт. При этом стандартный сэмплер dpmpp_2m_sde_gpu справляется с той же задачей безупречно. Детальный анализ кода выявил, что проблема кроется не в самом механизме инерции, а в фундаментальной несовместимости математических формул: алгоритм написан под variance-exploding модели, тогда как flow-модели используют другую параметризацию шума. Это приводит к неверному расчету дисперсии, из-за чего латентное пространство «разрастается», и ошибка накапливается с каждым шагом.

Исследователь также проверил, существует ли вариант momentum, который действительно улучшает результат. Оказалось, что положительный коэффициент инерции действует как фильтр нижних частот, добавляя запаздывание и увеличивая ошибку генерации до 61%. Напротив, отрицательный коэффициент превращает рекурсию в устойчивую экстраполяцию. В детерминированном режиме это позволяет снизить ошибку на 11–21% по сравнению с базовым dpmpp_2m при одинаковом количестве вызовов нейросети. Это эквивалентно ускорению процесса примерно в 1,2 раза, что является скромным, но измеримым преимуществом.

Важно отметить, что идея применения momentum в диффузионных моделях не нова. Ранее работы Wizadwongsa и других исследователей (ICLR 2024) уже предлагали встраивать Heavy Ball momentum в численные солверы для расширения области устойчивости. Однако автор данного материала указывает, что его выводы о знаке коэффициента не опровергают эти исследования, так как использовались разные модели, солверы и метрики оценки. Отдельного внимания заслуживает тот факт, что в исходном пакете ComfyUI коэффициент momentum через обычный KSampler фактически равен нулю, что делает «сломанным» именно специфическую реализацию в Extra-Samplers.

Экспериментальная часть проводилась на модели Anima (bf16) с разрешением 576x768. Автор зарегистрировал девять гипотез до начала измерений, четыре из которых подтвердились. В частности, было доказано, что положительный momentum всегда вредит качеству, а отрицательный помогает только в детерминированных условиях. При добавлении шума (SDE-режим) сильный отрицательный momentum перестает быть полезным, так как непредсказуемость шума усиливает ошибки экстраполяции. Тем не менее, демпфированная версия алгоритма показала снижение сильной ошибки на 7–10% по сравнению с dpmpp_2m_sde.

Для практического применения автор разработал собственный пакет momentum-cfg-samplers-research. В нем доступны новые сэмплеры ddim_momentum и dpmpp_2m_sde_damped, а также узел-фильтр, позволяющий оборачивать любые существующие сэмплеры с одним вызовом модели на шаг. Код сопровождается 13 тестами на CPU и документацией на нескольких языках. Исследователь предостерегает: некоторые автоматические варианты (например, lms_momentumized) могут давать нестабильные результаты при настройках по умолчанию, требуя ручной корректировки силы сглаживания.

Таким образом, «momentum» в контексте ComfyUI — это не универсальная панацея, а инструмент, эффективность которого строго зависит от знака коэффициента и типа модели. Положительная инерция ухудшает результат, тогда как отрицательная может дать небольшое ускорение. Однако для широкого круга пользователей более надежным остается использование стандартных сэмплеров из ядра ComfyUI, так как специфические модификации требуют глубокого понимания математических основ диффузионных процессов.