编码智能体首次进物理考场:最强组合在456项核心任务的标准设置下只解出34%
Embodied First Exam 把通用编码智能体接到47台仿真机器人上,允许它们自己选择直接控制、写程序控制或训练策略,并在贴近真机的标准设置里只给传感器观测、默认不许重置。八种智能体中,GPT-6 Astra 在 Codex 里于456项核心任务的标准测试上解出34%,同一批391项任务在可读全部仿真状态、可无限重置的特权设置下则达到77%。考试还按阶段标注失败位置,用来比较不同设置、不同智能体在哪里出错。
Embodied First Exam 把通用编码智能体接到47台仿真机器人上,允许它们自己选择直接控制、写程序控制或训练策略,并在贴近真机的标准设置里只给传感器观测、默认不许重置。八种智能体中,GPT-6 Astra 在 Codex 里于456项核心任务的标准测试上解出34%,同一批391项任务在可读全部仿真状态、可无限重置的特权设置下则达到77%。考试还按阶段标注失败位置,用来比较不同设置、不同智能体在哪里出错。
已读完全部报道