RoboTryOn把人类视频换成机器人演示：无遥操作数据，新任务成功率从2.1%升到60.0%
核心概要
RoboTryOn把第一人称人类操作视频当作“虚拟试衣”来处理：保留演示动作，只把画面中的人替换成目标机器人，再由带深度特征的反向动力学模型从合成视频读出关节动作标签。在两种带灵巧手的真实人形机器人上，仅用合成演示训练的策略把未见任务的平均成功率从2.1%提升到60.0%，并在全部遥操作演示只含单臂的情况下于双臂任务上取得45.9%；只用人类视频翻译的数据训练，可在约三分之一采集成本下达到与纯遥操作演示相当的成功率。
深度剖析
人类第一人称视频现在可以直接变成带动作标签的机器人演示，策略在测试时使用原始相机画面，不需要对实时图像做遮挡或叠加渲染。 此前的两条路线都把重建的人手动作重定向为机器人动作，并靠遮挡手臂或叠加渲染机器人来缩小外观差异，而且训练和部署时必须对相机画面施加同样的编辑。 在两种机器人共十一个桌面任务上，RoboTryOn在域内任务把成功率从47.3%提到75.9%（OpenArm）、从69.6%提到79.5%（RB-Y1）；在七个没有机器人演示的域外任务上，两个基线方法的成功率都低于10%，RoboTryOn把成功率从3.1%提到73.0%（OpenArm）、从1.0%提到46.9%（RB-Y1）。
整条流程分三步：先把选定的关键帧翻译成机器人关键帧，再在关键帧之间合成机器人视频，最后从合成视频反推关节动作。 关键帧翻译沿用视频虚拟试衣的做法，以手臂与手的掩码和手部骨架为条件，并自回归地以上一个已翻译关键帧作参考；视频模型则以手部骨架流引导关键帧之间的运动。 反向动力学模型以 Depth Anything V2 为骨干、接流匹配动作头，输入相隔一秒的两帧并预测20步关节动作块；三个生成模型只在遥操作机器人数据上训练，推理时从人类视频中提取同样的掩码与骨架条件。
合成视频给出的动作标签比直接重定向更可执行，这是策略能在域外任务上学起来的关键。 重定向把重建的人手映射到机器人手，但手部重建本身不精确，人与机器人手的形态和运动学也不同，抓握力度无法由形状映射得到。 在仿真场景中开环回放动作标签，RoboTryOn 的标签在69.7%的回合中完成任务，重定向标签为34.8%，差距主要出现在抓握阶段；在预训练权重上，RoboTryOn 数据与遥操作数据的流匹配梯度余弦相似度为0.53，两个基线为0.17和0.14。
启示与展望
演示范围是两种带灵巧手的真实人形机器人（OpenArm 配 Inspire RH56F1 手、RB-Y1 配 WujiHand2 手）上的十一个桌面任务，人类视频从机器人头部相机位置录制，遥操作数据中颈部与底座保持固定；作者也把人类视频翻译到 GR-1，但因没有实体机器人而未评估策略。作者提出的下一步是把 EgoDex 这类大规模第一人称语料翻译到其拥有的每种机器人形态，并改进反向动力学模型的精度。
动作标签是伪标签：反向动力学模型从像素读关节，手部重建提供腕部位置，因此无法捕捉力，精度受立体视频与手部重建分辨率限制，依赖力的任务或紧配合插入尚不能准确标注；腕部校正还依赖头部相机标定。相机移动时，输入会落在视频模型与反向动力学模型的训练分布之外，后者在训练数据中颈与底座从不移动，因而总是预测固定的颈与底座动作。演示动作必须是机器人能执行的动作，流程可以重定时但无法修正超出臂展或机器人手无法形成的抓握。合成以计算换采集时间，更适合遥操作代价高的任务；在 RB-Y1 上没有任何方法完成 Air Fryer 任务。