Mistral представила Robostral Navigate: модель навигации для роботов с одним RGB-камерой
Hacker News · оригинал
Материал подготовлен автоматизированной редакционной системой. Факты можно сверить по указанному первоисточнику.
Французская компания Mistral AI анонсировала Robostral Navigate — 8-миллиардную модель, позволяющую роботам автономно перемещаться по сложным пространствам на основе только одного изображения и текстовой инструкции. Система демонстрирует рекордные результаты в бенчмарках, превосходя решения с использованием лидаров и глубинных датчиков.
Проект показывает возможность создания эффективной embodied AI без дорогостоящего сенсорного оборудования, что может упростить внедрение автономных роботов в логистике, производстве и сервисных сферах.
Mistral AI представила Robostral Navigate, первую модель компании, разработанную специально для воплощенной навигации (embodied navigation). В отличие от большинства существующих подходов, которые опираются на массивы камер, лидары или датчики глубины, новая система работает исключительно с одним обычным RGB-камерой и естественным языком. По заявлению разработчиков, модель принимает текстовые инструкции, такие как «выйдите из холла, пройдите по коридору и остановитесь у второй полки», и самостоятельно выполняет задачу в реальном времени.
Ключевым преимуществом Robostral Navigate является эффективность. На популярном бенчмарке R2R-CE (Room-to-Room in Continuous Environments) модель показала результат 76,6% успеха на невиданных ранее данных. Это на 9,7 процентных пункта выше лучших результатов систем с одной камерой и на 4,5 пункта лучше подходов, использующих глубинные сенсоры или несколько камер. Команда Mistral подчеркивает, что такая производительность достигается при значительно меньших вычислительных затратах и более простом аппаратном обеспечении.
Архитектурно модель представляет собой 8-миллиардный трансформер, созданный полностью внутри компании без использования открытых vision-language моделей (VLM). Обучение проводилось исключительно на симулированных данных. Для генерации обучающих примеров была построена эффективная конвейерная линия, которая позволила собрать датасет из примерно 2,4 миллиона траекторий в 350 тысячах сцен. Такой подход обеспечил быструю итерацию и высокую вариативность данных.
Особое внимание в разработке было уделено алгоритму обучения. Mistral применила технику prefix-caching с использованием tree-based attention-masking. Это позволило компрессировать весь эпизод навигации в одну последовательность, обучая модель на всех временных шагах за один проход вперед. По данным компании, этот метод сократил количество тренировочных токенов в 22 раза, сохранив при этом все обучающие сигналы. В практическом смысле это превратило процесс обучения, который ранее занимал месяцы, в задачу, решаемую за несколько дней.
Для дальнейшего повышения качества модели после этапа надзорного обучения (supervised learning) был задействован онлайн-реинforcement learning с алгоритмом CISPO. Это позволило системе учиться на ошибках, восстанавливаться после неудач и развивать исследовательское поведение. Согласно отчету разработчиков, этот этап улучшил процент успешных навигаций на 3,2%. Mistral отмечает, что модель еще не достигла плато, и дальнейшее обучение должно привести к дополнительному росту показателей.
Технически Robostral Navigate использует метод «pointing» (указание), предсказывая координаты целевой точки в текущем поле зрения камеры. Такой подход делает политику устойчивой к изменениям внутренних параметров камеры и масштаба мира. Если цель находится вне поля зрения, модель переключается на локальные смещения в системе координат робота. Система универсальна: она адаптируется к колесным, шагающим и летающим платформам различных размеров.
Mistral позиционирует Robostral Navigate как фундаментальный шаг к созданию единого воплощенного агента (unified embodied agent). Компания видит в навигации базовую способность для общей робототехники, применимую в производстве, доставке, логистике и гостиничном бизнесе. В настоящее время команда Mistral активно расширяет свой отдел робототехники, приглашая исследователей и инженеров для продолжения работы над автономными системами.