Google представила Gemini 4 Argon для робототехники

Google представила Gemini 4 Argon, специализированную модель искусственного интеллекта, разработанную для решения задач в области робототехники. Компания утверждает, что система демонстрирует качественный скачок в понимании физических процессов, генерации кода и визуальном семантическом рассуждении. На бенчмарке Embodied Reasoning (ERQA), который оценивает способность модели решать пространственные задачи в трехмерных средах, Argon показала результат 87% в режиме чистого рассуждения, превзойдя другие передовые модели. Это позволяет использовать модель на всех этапах жизненного цикла робототехнических систем.

Одной из ключевых возможностей Argon является управление сложными манипуляторами. В демонстрациях модель управляла четвероногим роботом Boston Dynamics Spot, заставляя его наступать на педаль мусорного бака для выброса банки. Перед выполнением действия система использовала «рой» верификаторов для проверки позиционирования ноги и руки в трехмерном пространстве. Также Argon управляла простой роботизированной рукой, которая выравнивала упавшую кружку и помещала в нее салфетку, опираясь на визуальные координаты и примитивы действий.

Модель способна создавать цифровые двойники для отработки движений перед взаимодействием с реальными объектами. Argon генерирует симуляции в среде MuJoCo, где робот отрабатывает действия, такие как нажатие педали или манипуляция предметами. Это позволяет снизить риск ошибок при работе с физическими устройствами. Система также управляет роботами в видеовой модели Gemini Omni World Model, переставляя разбросанные плитки Scrabble в правильном порядке через итеративный визуальный цикл обратной связи.

Важным аспектом является способность Argon анализировать видео телеоперации реальных роботов и создавать на их основе симуляционные сцены. Модель настраивает активы и сцены так, чтобы визуальные данные и события контакта в симуляции совпадали с реальными записями. Это включает проверку соответствия сил и моментов на кончиках пальцев робота. Такой подход позволяет создавать точные цифровые копии физических взаимодействий для дальнейшего анализа.

Argon также может извлекать задачи из видео человеческих манипуляций. Модель идентифицирует релевантные объекты, заменяет простые ограничивающие рамки сложными выпуклыми мешами и переносит траекторию движения человеческой руки на двуручного гуманоида с 76 степенями свободы. Это позволяет создавать физически решаемые среды для обучения роботов на основе человеческого опыта. Система способна даже превращать рукописные эскизы в симуляции, где гуманоид бросает мяч, сбивая стопку коробок, с проверкой баланса и точности попадания.

Модель предоставляет детальный анализ качества манипуляций, выделяя неудачные сегменты, такие как паузы или нестабильные захваты. Argon создает многоуровневую иерархию аннотаций для видео, включая эпизодические цели, семантические подзадачи и атомарные примитивы контакта. Это позволяет оптимизировать обучение роботов, снижая вес неудачных попыток в данных для имитационного обучения.

Наконец, Argon генерирует новые данные в симуляции для улучшения моделей VLA. Начиная с одного фото реального рабочего стола, система строит калиброванную симуляцию, определяет новые задачи и синтезирует движения для сбора тысяч эпизодов. По данным Google, это повышает успешность выполнения задач реальными роботами с 56% до 75% и сокращает время завершения с 35 до 24 секунд. Источник: hackernews — https://developers.googleblog.com/gemini-4-argon-for-robotics/