WorldBridge把视频预测接到动作上：新任务只给一条示范，成功率从55.90%升到70.70%
核心概要
WorldBridge 把视频预测与动作生成拆成两个专家，用结构化注意力把预测出的未来画面接到动作上，并在 RoboTwin 2.0 上检验视频与动作监督各自的作用。只用分布内视频-动作监督时，分布外任务成功率为 25.07%；加入这些任务的视频但不给动作标签，升到 55.90%；每个任务再加一条带动作标签的示范，升到 70.70%。在完整数据设置下，WorldBridge 在 RoboTwin 2.0 上取得 96.23% 的平均成功率。
深度剖析
WorldBridge 把机器人执行新任务拆成两件可分别考察的事：预测新任务的画面如何演变，以及把这种预测翻译成可执行动作。 此前具身泛化研究更多关注物体摆放、相机视角、光照和外观等执行条件的变化，而新任务要求机器人执行训练任务之外的行为。 在 RoboTwin 2.0 上，只用分布内视频-动作监督时，分布外任务成功率为 25.07%，分布内为 91.85%。
模型由视频专家和动作专家组成，两者各自保留参数，通过联合自注意力交换信息，并用联合流匹配训练。 结构化注意力掩码在训练后阶段建立一条从记忆和当前观测经未来视频特征到动作预测的单向信息通路，使预测的画面成为控制的显式条件。 在 RoboTwin 2.0 完整数据设置下，WorldBridge 在 Clean 场景为 96.16%、Randomized 场景为 96.30%，平均 96.23%；在仅用 Clean 数据训练的 Clean2Random 设置下平均 80.9%。
统一数据处理管线把异构机器人轨迹和第一人称人手示范映射到共享的 46 维动作表示，并用逐维有效性掩码保留部分监督。 不同机器人平台的控制接口和标注可用性不同，直接混合会丢失语义。 整理后的语料包含 1,275,715 条机器人回合（9,729.58 小时）和 2,105,846 条第一人称回合（12,591.63 小时），合计 3,381,561 条、22,321.21 小时。
启示与展望
已展示的范围是 RoboTwin 2.0、RoboCasa GR1、RMBench、DOMINO Level-1、SimplerEnv-WidowX 和 RoboDojo 上的仿真操作评测，以及跨 AgiBot G2 与 ARX AC-1 两台平台的六项真实机器人任务，每项任务 20 次试验。真实机器人上 WorldBridge 平均成功率为 72.5%，对比方法分别为 57.5%、39.2%、29.2% 和 10.8%。
作者指出，把视频到动作的通路扩展到更多样任务、并减少动作监督，仍是未来工作。真实机器人上分拣螺丝是 WorldBridge 成功率最低的任务，为 55%，作者将其列为该任务套件中仍待解决的精确小零件分拣挑战。DOMINO 上 Randomized 配置的成功率为 56.1%，低于 Clean 的 59.1%，作者称这是额外场景变化下的小幅下降。