Ai2发布ToyBlocks：把机械臂和积木放进可控世界，真实机器人零样本执行成功率50.0%

机器人学习有了一个刻意收窄的可控实验场：ToyBlocks把研究对象限定为桌面上的机械臂与积木，使研究者能改变训练数据或模型设计、重复测试并追溯失败原因。 此前的机器人演示往往范围狭窄，既不能说明机器人学到了什么，也不能解释它为何失败；而开放域需要建模大量物体与交互，难以同时满足真实物理、规模化自动生成、推理与灵巧结合、域内任务广覆盖这四项要求。 ToyBlocks以窄域换取四项要求的全部满足，并给出可复现的评测设置：训练时只让物体出现在左侧区域、测试右侧区域，或训练2块与5块堆叠高度、测试3块与4块。

框架把数据生成、训练与评测串在同一个仿真环境里，技能由强化学习与运动规划产生，长程任务由任务与运动规划器自动挑选并排序技能。 真实世界中这类技能通常需要遥操作采集，即由人远程控制机器人；ToyBlocks改用仿真器可直接提供的特权信息，例如积木的精确位置与朝向，而不必从相机图像估计。 在单块GPU上并行生成并执行数百个规划，达到最高24倍实时性能；初始数据发布包含85,336条长程演示、约1,600小时机器人执行数据和1.44亿帧。

评测不止于成功率，还记录执行速度、对物体施加的力和任务进度，这些量沿用规划模块的同一套规格。 常见评测只报告任务是否完成，难以区分高层规划失败还是低层执行失败；ToyBlocks在高、低两层都提供参考组件，可把失败定位到其中一层。 以拼出“Ai2”这类三字母积木拼写任务为例，Molmo 2作为高层规划、ManiFlow作为低层执行，在三个递增难度场景和两种泛化条件下评测。

仅用ToyBlocks仿真数据训练的模型被直接部署到真实机器人上，低层技能的成功率与仿真接近。 此前从仿真到现实的迁移通常需要真实世界样本；这里ManiFlow与Molmo 2都只接触ToyBlocks数据。 真实实验使用Franka FR3机械臂与Robotiq夹爪，覆盖30个场景配置，每个场景含训练中见过的4至10块积木；ManiFlow原子技能在仿真与真实世界分别为80.0%和81.1%，Molmo 2加ManiFlow的分层系统在仿真200个回合中成功111个（55.5%），真实世界30个回合中成功15个（50.0%）。

已展示的范围是桌面机械臂与积木的仿真环境，以及在该环境中训练后于Franka FR3加Robotiq夹爪上进行的真实世界评测；真实世界分层系统的评测使用仿真中最简单的场景配置，即积木字符可见且正立。原文提出后续将发布更大规模数据集、更多技能与更完整基准，并加入当前版本尚不包含的完整强化学习训练能力。

原文称真实世界分层系统的进一步试验仍需建立跨任务的统计置信度；动作模型的空间泛化在初始结果中表现不佳，作者认为这一问题远未解决；智能体在搜索拼写任务中成功或正确判定不可行的比例为63%，错误主要来自混淆形似字母（13%）与为字母选择错误朝向（15%）。