Real2Gym 把人类演示视频变成可执行仿真健身房，在 Franka 真机上把失败任务练成成功

Real2Sim 管线能从人类或机器人演示视频构建可执行的数字孪生：用 MoGe-3 或 Pi3X 初始化几何、SAM2 解析物体与支撑面、以标定相机与度量线索约束全局尺度，再通过事件关键帧上的五维自检（主要差异、相机对齐、相对物体摆放、接触/穿透、外观保真）迭代修正，并在 MuJoCo 中原生物理执行验证抓取、支撑与释放。 相比 RialTo 那类需要场景扫描、网格修复、关节建模与物理参数化的手工流程，以及 Agentic Real2Sim 的 episodic twins，这里把物理可行性验证直接嵌入重建闭环，并给出任务条件化的场景增广。 论文报告在 DROID 与 EgoDex 各 12 个场景（各含 4 易、4 中、4 难）共 24 个 MuJoCo 环境上评测，重建指标由 GPT-6 Astra 高推理档按附录 E 的评分标准打分；DROID 上视角对齐比 GPT-6 Astra 提升 40.83 分，EgoDex 上仿真成功分达 85.76。

经验驱动的操作智能体在子任务层面交替观察、生成代码、执行与反馈，每段代码可协调接近、闭合夹爪、检验抓取保持等多个动作，并在回合结束后把每轮代码判为正向、负向或未知效果，蒸馏出适用条件、任务流程、效果检查、物体相对运动规则与恢复策略。 与逐动作决策的 Direct Mode 基线相比，阶段级代码生成减少了模型交互次数；与 ASPIRE、Agent as Policy 等强调技能积累或程序复用的工作相比，这里把技能表示统一用于仿真与真机，且不更新底层模型权重。 表 2 显示技能积累前平均成功率 79.2%、token 比 GPT-6 Astra 少 67.3%；加入技能后 DROID 达 91.67%、EgoDex 为 83.33%，平均 token 进一步下降，结论基于 12+12 个任务的逐任务统计。

真机部署在 7 自由度 Franka Emika Research 3（Robotiq 2F-85 夹爪、腕部与外部两路 RealSense RGB-D）上完成四个任务，零样本阶段在全部四项任务上达到或超过 Direct Mode 基线，其中放块入盘任务因基线缺少空间朝向意识而水平抓取卡住，本方法改用可行的自上而下抓取。 这提供了从仿真技能库到物理执行的闭环证据，而不只是仿真内的成功率对比。 论文报告四个任务的成功率与完成时间对比，并说明窄间隙放盘任务零样本失败后，用一段未标定的第三人称人类视频重建数字孪生，智能体在仿真中前两次尝试失败、第三次演化迭代获得稳定技能，部署回真机后成功。

框架把仿真当作可扩展的试错场所，用任务条件化增广（物体几何、位姿、支撑高度、材质、干扰物、背景、光照）在保持物理可行性的前提下扩大环境池，从而把人类操作经验转化为可复用机器人能力。 这回应了直接在真机上试错的高成本、安全风险与低样本效率问题，把自改进循环放在仿真中完成再迁移。 论文以 24 个重建环境、逐任务成功检查与真机四任务实验支撑该主张，并说明失败候选环境会被退回场景或动作精修。

该工作面向需要从人类或机器人演示中快速搭建可交互仿真环境、并在其中积累可复用操作技能的机器人学习场景，适用于具备 URDF/MJCF 描述与多视角或单视角 RGB 输入、且任务可由阶段级代码与平行夹爪完成的情形。它使研究者能够用公开数据集（DROID、EgoDex）与自录视频构建环境池，在仿真中做试错与技能蒸馏，再把技能库部署到真机；对希望降低真机试错成本、复用人类操作经验的团队尤其相关。

多视角（腕部与静态相机）之间的错位会在 Pi3X 点云中产生重影或分层表面，残留几何与纹理差异，跨视角配准与外观精修仍是后续方向；阶段级代码生成提升了交互效率，但缺少高约束操作所需的局部细粒度反应性，如何在阶段级与动作级控制间自适应切换尚待探索；真机实验目前限于 Franka 平行夹爪，向灵巧手与人形平台的扩展性未知。此外，本次读取的是论文全文与附录，但部分表格在文本中呈现为数值序列，个别真机成功率与时间的具体数字未能完整对应到任务，读者若需精确数值应查阅原文图表。