编码智能体首次进物理考场：最强组合在456项核心任务的标准设置下只解出34%
核心概要
Embodied First Exam 把通用编码智能体接到47台仿真机器人上，允许它们自己选择直接控制、写程序控制或训练策略，并在贴近真机的标准设置里只给传感器观测、默认不许重置。八种智能体中，GPT-6 Astra 在 Codex 里于456项核心任务的标准测试上解出34%，同一批391项任务在可读全部仿真状态、可无限重置的特权设置下则达到77%。考试还按阶段标注失败位置，用来比较不同设置、不同智能体在哪里出错。
深度剖析
通用编码智能体现在有了一个统一的机器人考试，可以自己决定用哪种方式控制机器人，而不是被固定在视觉运动策略的输入输出接口上。 此前的机器人基准围绕视觉运动策略学习搭建，智能体只能从基准规定的动作空间里选动作；数字世界的编码智能体评测则不施加物理约束。 考试包含35个套件、47台机器人上的1,156项任务，其中9个套件、411项任务为新建，覆盖空间谜题、灵巧操作、多机器人交互、动态全身控制和仿真到仿真的控制器改造。
同一项任务可以在最多三种设置下运行，区别只在智能体能看什么、能不能重置、世界是否继续走，而不在它能选哪种控制方式。 标准设置模仿真机：智能体只通过机器人传感器观测，默认不能重置；特权设置给出完整仿真状态和无限重置，用来搜索近似上界的解。 在391项同时具备两种设置的核心任务上，GPT-6 Astra 在 Codex 里特权设置解出77%，标准设置只解出30%；在456项核心任务的标准测试上，它解出34%。
失败可以定位到任务的具体阶段，因此不同智能体、不同设置之间的失败可以直接比较。 验证器只判定一次尝试是否通过，不说明错在哪里，所以考试把427项核心任务拆成阶段图，并给每次失败标注失败阶段。 在标准设置下，八种智能体的失败阶段集中度为61%，随机基线为37%；失败最常出现在任务的第一阶段，占264项有单一最常见失败阶段的标准测试中的65%。
在受控运行中，把特权设置的两项能力分别加回标准接口，可以分辨是哪一项在起作用。 标准设置缺少每个物体的精确状态和无限重置，这两项此前没有被分开测量。 GPT-6 Astra 在391项任务上的成功率从28%升到45%（加物体状态查询）、53%（加无限重置与状态保存），两项都加为68%，其特权测试为77%；在需要精度的阶段，重置把91次失败中的36%转为成功，仅加状态为21%。
启示与展望
考试覆盖35个套件、47台机器人、1,156项任务，结果报告在456项核心任务的901项测试上，全部在仿真中进行；真机部分只有一个机械臂上的蜂鸣线游戏演示，不计入任何成功率。
每种智能体在每项测试上只做一次尝试，因此结果无法把智能体能力与运行间波动分开；核心集排除了被判定为简单的任务和筛选智能体 GPT-6 Luna 解出的任务，而它与 GPT-6 Astra 同属一个模型家族，可能使核心集对该家族偏难；阶段标签由智能体撰写，撰写者 GPT-6.1 Sol 也与 GPT-6 Astra 同家族。