Сбер представил Kandinsky 6.0: нейросеть генерирует видео со звуком в Full HD
RB.RU AI · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Сбер обновил модель Kandinsky до версии 6.0, добавив функцию синхронной генерации звука и поддержку разрешения Full HD. Разработчикам доступна бесплатная интеграция модели под лицензией MIT.
Обновление расширяет возможности генеративного ИИ для создания мультимедийного контента, снижая барьеры входа для обычных пользователей и предоставляя открытые инструменты разработчикам.
Сбербанк представил обновленную версию своей нейросети Kandinsky 6.0 Video. Ключевым нововведением стала способность модели одновременно генерировать визуальный ряд и звуковое сопровождение. Пользователи могут создавать ролики, где речь синхронизирована с движением губ, а фоновые звуки и музыка соответствуют происходящему на экране. Для запуска процесса достаточно текстового описания сцены или загрузки первого кадра с указанием желаемого аудиоряда.
Технические характеристики новой модели включают поддержку частоты звука 44 кГц, стандарта, принятого большинством стриминговых сервисов. Нейросеть способна генерировать различные типы аудио: от диалогов и музыкальных композиций до бытовых звуков, таких как шаги, ветер или проезжающий транспорт. При этом максимальная продолжительность видео со звуком на текущем этапе составляет пять секунд. В компании отмечают, что в будущем планируется увеличить этот временной лимит.
Визуальное качество также претерпело изменения. Пользователи сервиса ГигаЧат получили возможность выбирать уровень детализации: SD для быстрой генерации, HD для более подробного изображения и Full HD для максимальной четкости. По данным Сбера, версия Kandinsky 6.0 Video Pro точнее следует заданному сценарию и лучше передает движение камеры по сравнению с предыдущей итерацией. Статистика компании указывает на то, что новая модель превосходит Kandinsky 5.0 в среднем в 71% случаев по совокупности критериев оценки.
Отдельного внимания заслуживает улучшение передачи физики реального мира. Движения людей, животных и техники стали более естественными, особенно в динамичных сценах. Это стало возможным благодаря работе над алгоритмами обработки визуальной информации. Старший вице-президент Сбербанка Антон Фролов заявил, что компания стремится сделать генеративный ИИ инструментом не только для профессиональных студий, но и для обычных людей, позволяя создавать более выразительные личные видео.
Для разработчиков модель доступна в открытом виде под лицензией MIT. Это означает, что интеграция Kandinsky 6.0 Video в собственные продукты возможна бесплатно. Такая политика направлена на стимулирование экосистемы вокруг технологии и расширение круга лиц, использующих генеративный ИИ для создания контента.
Архитектура Kandinsky 6.0 Video построена на двух связанных модулях: одном для генерации видео и другом — для звука. Звуковой модуль обучался на массиве данных, включающем более 20 млн видео со звуком. При отборе обучающих материалов особое внимание уделялось роликам с чистой аудиодорожкой и крупным планам говорящих людей, что позволило улучшить синхронизацию речи и мимики.