Диффузионные языковые модели: от шумовых аналогий к промышленным стандартам
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Статья рассматривает эволюцию диффузионных подходов в генерации текста, объясняя, как маскирование токенов позволяет конкурировать с авто-регрессивными моделями. Материал описывает ключевые архитектурные решения, включая блочную диффузию и механизмы итеративного уточнения, которые делают такие модели быстрыми и управляемыми.
Диффузионные LLM предлагают альтернативу стандартному построчному генерированию текста, обеспечивая параллельную обработку контекста и возможность коррекции ошибок на лету. Это открывает путь к более быстрой инференции и гибкому управлению свойствами генерируемого контента.
В области генеративного искусственного интеллекта сложилось устойчивое разделение: для непрерывных данных, таких как изображения и видео, стандартом де-факто стали диффузионные модели, тогда как для дискретных данных — текста и кода — доминируют авто-регрессивные архитектуры. Однако в 2024 году произошел переломный момент: диффузионные подходы к языковым моделям достигли качества, сопоставимого с традиционными методами. К 2026 году такие модели стали реальностью, о чем свидетельствуют релизы ведущих лабораторий, включая Mercury 2 от Inception Labs. В отличие от авто-регрессивных моделей, генерирующих токены последовательно слева направо, диффузионные LLM создают всю последовательность сразу, начиная с начального приближения и итеративно уточняя его. Это позволяет гибко балансировать между скоростью и качеством, а также использовать двунаправленный контекст на каждом шаге.
Фундамент диффузионных моделей закладывается на примере генерации изображений через концепцию «деноизинга». Модель обучается обратному процессу: вместо того чтобы рисовать изображение с нуля, она учится постепенно удалять шум из случайного статического фона. Этот процесс состоит из двух частей: прямого процесса, который добавляет гауссов шум к чистым данным, и обратного, который обучается восстанавливать исходный сигнал. Для дискретных языковых данных классический гауссов шум неприменим, поэтому используется метод маскирования (masked diffusion). Здесь «шумом» выступает случайное замаскирование части токенов в последовательности.
Механика работы маскированной диффузии напоминает трансформер BERT, но с генеративным потенциалом. Модель обучается заполнять пропуски в тексте, где доля замаскированных токенов варьируется по определенному расписанию. В отличие от BERT, который использует фиксированную долю маскирования, диффузионная модель усредняет потерю по всем возможным уровням шума. Это позволяет вычислить нижнюю границу правдоподобия (ELBO), что дает возможность объективно сравнивать качество диффузионных и авто-регрессивных моделей по стандартным метрикам, таким как перплексность.
Базовые модели маскированной диффузии имеют ограничения: они генерируют только последовательности фиксированной длины и не поддерживают коррекцию ошибок после размаскирования токена. Для решения этих проблем разработаны продвинутые архитектуры. Блочная диффузия (Block Diffusion) позволяет работать с переменными длинами, обрабатывая текст блоками и используя кэширование ключей и значений (KV caching) для ускорения. Это также повышает эффективность использования GPU за счет оптимизации арифметической интенсивности.
Другим важным направлением является переход от архитектуры «только кодировщик» к архитектуре «кодировщик-декодер». В таких системах кодировщик отвечает за представление уже сгенерированных токенов, а легкий декодер итеративно уточняет шумовую последовательность. Этот подход лежит в основе современных open-source моделей, таких как Gemma Diffusion, и значительно снижает вычислительные затраты при обучении и инференции.
Критически важным для качества является механизм итеративного уточнения. В стандартной маскированной диффузии размаскированный токен не может быть изменен, что приводит к накоплению ошибок. Для решения этого применяются методы ре-маскирования (remasking), когда часть уже сгенерированных токенов снова маскируется для повторной генерации в контексте новых данных. Альтернативой служит равномерная диффузия состояний (Uniform State Diffusion), где вместо маскирования токены заменяются случайными из словаря, что позволяет модели пересматривать любой токен на любом шаге.
Диффузионные языковые модели демонстрируют значительное преимущество в скорости: генерация может быть в 5–10 раз быстрее авто-регрессивной благодаря параллельной обработке нескольких токенов за один шаг. Однако это требует сложных схем обучения, таких как прогрессивная дистилляция, для устранения несогласованностей между токенами. Кроме того, диффузионные модели лучше подходят для управляемой генерации, так как глобальное уточнение позволяет эффективнее удовлетворять целевым свойствам текста, чем локальные необратимые правки.