World Labs представила Atlas: мультимодальную модель для пространственного интеллекта
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Компания World Labs анонсировала Atlas — омни-модель, способную генерировать, реконструировать и симулировать трехмерные миры на основе текста, изображений и видео. Архитектура системы позволяет создавать согласованные 3D-сцены с точным управлением камерой и обеспечивает превосходство над специализированными моделями в задачах компьютерного зрения.
Atlas демонстрирует новый подход к пространственному интеллекту, объединяя генерацию и реконструкцию в единой архитектуре. Это открывает возможности для создания фотореалистичных симуляций для робототехники, VFX и игровых движков без необходимости использования дорогостоящего оборудования.
World Labs представила Atlas, новое поколение «мировых моделей», предназначенных для решения задач пространственного интеллекта. В отличие от традиционных языковых моделей или генераторов видео, Atlas функционирует как омни-модель, нативно работающая с текстом, изображениями, видео и трехмерными данными. Система построена на архитектуре мультимодального авто-регрессивного диффузионного трансформера, что позволяет ей объединять все входные данные в единый пространственный контекст. Такой подход обеспечивает генерацию последующих элементов с сохранением геометрической согласованности в 3D-пространстве.
Ключевым преимуществом Atlas является точное управление камерой. Модель принимает параметры камеры как нативный тип данных, а не через текстовые описания, что позволяет создавать видео длительностью до одной минуты в разрешении 1440p с пиксельно-точным следованием заданной траектории. По оценкам разработчиков, качество следования за камерой превосходит результаты современных видеомоделей, особенно при сложных кинематографических движениях. Это дает пользователям возможность выступать в роли режиссера, точно контролируя ракурсы и динамику сцены.
В области реконструкции реальных объектов Atlas решает давнюю проблему компьютерного зрения — синтез новых видов из разреженных входных данных. Модель способна восстановить трехмерную сцену по одному-двум фотографиям, заполняя невидимые участки на основе своих знаний о мире. При увеличении количества входных изображений точность реконструкции растет, позволяя создавать детализированные 3D-модели окружения. World Labs утверждает, что Atlas превосходит специализированные open-source модели в задачах реконструкции из разреженных видов.
Система также генерирует явные 3D-выводы, такие как облака точек и гауссовы сплаты, которые можно рендерить на устройстве в реальном времени. Это делает модель полезной для робототехники, где требуется симуляция среды и генерация данных для сенсоров робота. Atlas позволяет создавать реалистичные сценарии навигации и манипуляций, генерируя RGB-изображения и карты глубины с точки зрения бортовых камер робота.
В сфере визуальных эффектов (VFX) модель демонстрирует способность к «заморозке времени» и рефреймингу кадров. Используя данные всего с трех обычных камер, Atlas может реконструировать сцену и предложить новые ракурсы, недоступные при съемке. Это снижает требования к профессиональному оборудованию и позволяет создавать сложные визуальные эффекты с минимальными затратами.
Архитектурно Atlas сочетает принципы больших языковых моделей и диффузионных генераторов изображений. Она использует механизмы KV-caching для ускорения инференса и алгоритмы дистилляции диффузии для баланса между скоростью и качеством. Разработчики отмечают, что производительность модели масштабируется с увеличением вычислительных ресурсов, что указывает на потенциал дальнейшего роста возможностей системы.
Atlas уже доступна в режиме раннего доступа для избранных партнеров. Компания также сообщает о найме исследователей и инженеров для развития технологий пространственного интеллекта. Источник: rss:Hacker News: Front Page — https://www.worldlabs.ai/blog/atlas