Ai2 发布 ToyBlocks 机器人学习沙盒：仿真里练出的技能，真机上成功率 81.1% 对 80.0%
核心概要
Ai2 发布 ToyBlocks，一个围绕机械臂与桌面方块搭建的开源仿真框架，属于其 FoundationWorlds 计划的首个受控世界。它自动生成任务与演示数据，让研究者能改变训练数据、重复实验并追踪失败原因。在真机测试中，仅用仿真数据训练的底层技能模型 ManiFlow 在仿真与真实环境中的成功率分别为 80.0% 和 81.1%，而高层规划加底层执行的组合系统在仿真中为 55.5%、真机为 50.0%。
深度剖析
机器人学习有了一个刻意收窄的受控仿真世界，研究者可以改变训练数据、重复测试并追踪失败原因，而不必依赖狭窄的真机演示。 此前的机器人演示往往范围狭窄，无法说明机器人学到了什么、为何失败；开放域环境要同时满足真实物理、大规模自动生成任务、推理与灵巧结合、任务覆盖广这四项要求并不可行。 ToyBlocks 的窄范围使其能同时满足这四项要求，并让仿真中的机械臂与方块行为与实物高度接近。
框架用强化学习与运动规划自动生成推、翻等短时技能，再由任务与运动规划器挑选并串联技能，批量产出带标签的演示数据。 这类技能在真实世界中通常需要人工遥操作采集，耗时且难以规模化。 技能训练在 Nvidia 的 Isaac Lab 中进行，并利用仿真器可直接给出的方块精确位置与朝向等特权信息；在单块 GPU 上并行执行数百个规划，达到最高 24 倍实时速度。
真机验证显示，完全用 ToyBlocks 仿真数据训练的模型可以零样本部署到 Franka FR3 机械臂上。 仿真到现实的迁移通常需要真实数据微调，而这里两个模型都只用仿真数据训练。 ManiFlow 的原子技能成功率在仿真与真实环境中分别为 80.0% 和 81.1%；Molmo 2 加 ManiFlow 的分层系统在仿真中完成 55.5% 的回合（111/200），在真机上完成 50.0%（15/30），真机实验覆盖三十种场景配置。
启示与展望
已展示的范围是桌面机械臂与方块的推、翻、旋转、取放及三字母拼写任务，真机实验使用 Franka FR3 机械臂与 Robotiq 夹爪、三十种场景配置，每个场景含 4 至 10 个训练中见过的方块。目标读者是希望改变训练数据或模型设计并追踪失败原因的机器人学习研究者。来源表示计划在数周内发布更大规模数据集、更多技能与更完整的基准测试，并加入当前版本尚未包含的完整强化学习训练能力。
来源明确指出，分层系统在真机上仅 30 个回合，仍需更多试验才能建立跨任务的统计置信度。来源还表示，动作模型的泛化仍远未解决，并认为此前的相关研究结论相互冲突。