跳到主要内容
返回时间线
Google DeepMind News来源发表:

机器人不必只靠真机试错:Gemini 4 Argon 把草图、视频和照片变成可跑的 MuJoCo 场景

核心概要

Gemini 4 Argon 把物理理解、代码生成和视觉语义推理放进同一个模型,让机器人任务可以先在仿真里练。在考察三维物理空间问题的 Embodied Reasoning(ERQA)基准上,它用纯推理拿到 87%,高于其他前沿模型。它还能从机器人相机画面、第一视角人类视频或手绘草图重建标定过的仿真孪生场景,并据此生成闭环控制与训练数据。

Source-provided article image: Gemini 4 Argon for Robotics
Google DeepMind

深度剖析

机器人任务现在可以先在仿真里练,再回到真机执行,而不必每一步都直接在硬件上试。 此前这类工作通常把物理理解、代码生成和视觉推理分开处理,机器人控制、Real2Sim 和物理理解各自独立。 在考察三维环境中物理与空间问题的 Embodied Reasoning(ERQA)基准上,Argon 用纯推理得到 87%,高于其他前沿模型。

Argon 通过读入多视角视频、三维几何、接触力学和本体状态遥测来推理场景,并直接写出可执行的控制代码。 它把视觉坐标架与动作原语结合,用 curl 命令驱动机械臂,并在每一轮之后用腕部相机画面做视觉校验。 在零样本控制示例中,它让机械臂把倒下的杯子扶正并把揉皱的餐巾放进杯里;在 MuJoCo 练习中,它控制波士顿动力 Spot 四足机器人踩下脚踏式垃圾桶盖丢弃汽水罐。

同一套推理还能把真实画面或手绘草图变成标定过的仿真场景,并生成闭环轨迹。 此前从真实录像或草图搭建仿真环境通常需要人工建模和逐项标定。 从一张手绘草图出发,它搭建了 GPU 加速的 mujoco_warp 场景,合成 76 自由度全身加五指投掷轨迹,在闭环物理中验证 6/6 目标击倒,并导出 Blender 4.5 Cycles 渲染。

仿真生成的数据可以反过来提升真机上的通用视觉-语言-动作模型表现。 此前提升这类模型往往依赖更多真实机器人数据采集。 从一张真实桌面照片出发,Argon 自主搭建标定过的 MuJoCo 孪生场景,定义新任务并合成闭环运动生成器,采集 4500 条以上域随机化回合,把真机成功率从 56% 提升到 75%,完成时间从 35 秒降到 24 秒。

启示与展望

报告面向机器人学习、仿真与具身智能方向的研究人员和工程师。已展示的范围包括:ERQA 基准上的纯推理得分、四足移动操作与双臂操作的零样本控制、从机器人画面和第一视角人类视频重建仿真场景、从手绘草图生成投掷轨迹、多粒度事后标注、价值函数预测、仿真数据提升真机表现,以及把机器人控制论文移植到 MuJoCo WebAssembly 浏览器实验。Argon 已通过 Google AI Studio、Gemini API 和 Google Antigravity 提供,其中 AI Studio 与 Antigravity 面向 Google AI Ultra 订阅者,API 使用付费层级。

多数能力以代表性提示演示的形式呈现,而非独立复现;真机成功率与完成时间的提升来自一次仿真数据增强实验,其可重复性尚未在文中说明。ERQA 的 87% 是纯推理设定下的单一基准结果,不能直接外推到其他物理任务。