Ai2发布ToyBlocks：桌面方块世界让机器人学习可复现，仿真与真机技能成功率接近
核心概要
Ai2 发布 ToyBlocks，一个围绕机械臂与桌面方块搭建的开源仿真框架，属于其 FoundationWorlds 系列的第一个受控世界。它自动生成任务与演示数据，并给出成功率之外的执行速度、受力和任务进度等指标，让研究者能改变训练数据或模型设计后重复测试、追溯失败原因。在真机零样本测试中，ManiFlow 的原子技能成功率在仿真与现实中分别为 80.0% 和 81.1%。
深度剖析
机器人学习有了一个刻意收窄的受控仿真世界，研究者可以改变训练数据或模型设计、重复同一测试，并追溯失败出在哪一环。 此前的机器人演示往往范围狭窄，无法说明机器人究竟学到了什么、又为什么失败；开放领域的建模对象和交互太多，难以同时满足真实物理、规模化自动生成、推理与灵巧结合、任务覆盖这四项要求。 ToyBlocks 的窄范围使其能同时满足这四项要求，并配有自动任务与演示生成器、随时间测量机器人行为的指标，以及高层与低层的参考组件，用来区分是规划失败还是执行失败。
训练数据不再依赖人工遥操作，而是由仿真自动生成带标签的演示。 遥操作需要人远程控制机器人，耗时且难以规模化；ToyBlocks 改为在 Isaac Lab 中用强化学习和运动规划生成短程技能，再由任务与运动规划器自动挑选并串联技能。 在单块 GPU 上并行生成并执行数百个规划，数据生成速度最高达到实时的 24 倍；初始数据发布包含 85,336 条长程演示、近 1,600 小时机器人执行数据和 1.44 亿帧。
仿真中训练的策略可以零样本搬到真机，仿真里的技能成功率与真机接近。 此前需要判断仿真中观察到的行为和失败模式是否能预示真机表现，而这依赖同一套模型在两种环境下的对照。 ManiFlow 的原子技能成功率在仿真与现实中分别为 80.0% 和 81.1%；Molmo 2 加 ManiFlow 的分层系统在仿真中完成 55.5% 的回合（111/200），在真机 30 种场景配置中完成 50.0%（15/30）。
启示与展望
已展示的范围是桌面机械臂与方块的仿真操作，包括堆叠、拆叠、翻转、旋转和拼字任务，以及用 Franka FR3 机械臂加 Robotiq 夹爪在 30 种场景配置上做的零样本真机测试。作者表示计划在数周内发布更大规模数据集、更多技能和更完整的基准，并加入当前版本尚不包含的完整强化学习训练能力。
作者指出，分层系统在真机上的结果还需要更多试验才能建立跨任务的统计置信度。在智能体拼字实验中，智能体成功完成或正确判定不可行的比例为 63%，错误主要来自混淆形近字母（13%）和为字母选择错误朝向（15%）；作者还提到当前前沿模型常出现类似的感知错误。世界模型测试中，每个技能生成 900 条轨迹，其中一半是成功演示、一半因空间配置的小改动而失败。