机器人做实验不再只求摆对位置:30个物理实验考“动手才知道”,最强智能体成功率43.3%
核心概要
具身智能体被要求像教学实验室里的学生那样,自己搭装置、选条件、读仪表,把测到的物理量交出来。此前操作类基准只考“把场景改成给定状态”,科学发现类基准则把实验换成文本命令或数值查询。EmbodiedLab 在五个学科、14 台装置上设 30 个定量实验,每个实例的隐藏参数重新抽样,评分同时看结果、本回合记录的读数与台面是否复原;六个前沿模型在各自开发者的编码智能体中运行,原生控制下最强的 Claude Opus 5.5 成功率为 43.3%,GPT-6 Astra 为 40.0%。
深度剖析
具身智能体第一次被放到“动手是为了知道”的考场上:目标不是把物体搬到指定位置,而是测出一个隐藏的物理量、预测一次响应或把装置调到满足指标。 此前的操作类基准直接给出场景应达到的状态,实验室类基准只核对流程步骤是否完成;科学发现类基准虽然要求智能体找出隐藏规律,但实验以文本命令或输入取值的形式执行,结果以文本或精确数值返回,中间没有物理动作。 30 个实验分布在力学、电学、光学、热学和化学五个学科、14 台装置平台上,每个实例的系统参数重新抽样,因此答案无法预先知道,却可以精确评分;每个实验都经参考解验证可解,参考解通过公开接口操作、只从仪器取读数,不使用语言模型,也不接触隐藏参数。
评分不只看最终数字,还要求结果落在仪器决定的容差内、依据本回合记录下来的读数,并把台面恢复原状。 操作类基准的成功判据是最终状态,流程类基准的判据是步骤完成,两者都不追问智能体凭什么得出这个数。 提交时环境封存记录,逐项核对每条被引用的读数是否由本回合的仪器产生、测量条件是否成立(例如托盘静止或温度已稳定)、结果是否与智能体自己引用数据的重新拟合一致,以及目标未使用的每个部件是否回到指定位置;容差从 0.2% 到 5%,取仪器在参考误差下能支持的最紧值。
接口分三层嵌套,逐层接管更多“动作”,用来判断失败究竟卡在哪里。 如果失败主要来自推理,那么替智能体做掉感知和运动规划应当带来大幅提升。 T0 只给三路相机图像、机器人状态和七关节位置目标;T1 增加可提示分割、理想深度和 cuRobo 规划的无碰撞笛卡尔手部运动;T2 再加入从最强智能体成功轨迹中蒸馏出的定位、抓取、搬运、放置、按压、推动和滑动技能。从 T0 到 T1 成功率只变化 1.7 到 10.0 个百分点,T2 则让较弱的三个智能体提升 10.0 到 26.7 个百分点,但拿到技能后它们在长程多阶段工作上最高只有 14.3%。
失败集中在物理闭环上,而不在拿到读数之后的推理。 对较强与较弱的智能体,卡点并不相同:强智能体大多已经拿到足够读数,弱智能体则在读数够用之前就出局。 三个最强智能体通过 L1 到 L4 的比率为 0.81 到 1.00,最低的阶段通过率出现在容差内知道结果(0.73 到 0.82)和复原台面(0.55 到 0.79);DeepSeek、Kimi 和 GLM 分别有 60%、67% 和 90% 的运行停在改变或观察装置状态阶段。按首次决定性错误归因,操作、观察与复原合计占每个智能体失败运行的 75% 到 100%,推理最多占 25%。
启示与展望
评测范围是 Isaac Sim 中由 Franka Panda 机械臂、两指夹爪和三路相机构成的仿真教学实验室,覆盖 30 个定量实验与 14 台装置平台;六个模型各自运行在其开发者发布的编码智能体中,统一使用中等推理档位、相同任务卡、预算与挂钟时限。T0 与 T1 是评测层级,T2 只是诊断层级,其技能来自同一批实验上的成功轨迹,因此部分复用了已知解,不纳入发布的评测协议。
作者明确指出 T2 的技能蒸馏自同一批实验上最强智能体的成功运行,因此 T2 运行部分复用了已知解,只用于衡量失败中有多少来自动作,不属于发布协议。评测在仿真中进行,仪器带有量化和噪声模型,但结论尚未在真实实验台上验证;30 个实验中有 3 个在 T0 无任何智能体解出,其中 Claude Opus 5.5 在 T1 才解出这三个。
