Jun Cen

WorldBridge 把视频预测与动作生成拆成两个专家，用结构化注意力把预测出的未来画面接到动作上，并在 RoboTwin 2.0 上检验视频与动作监督各自的作用。只用分布内视频-动作监督时，分布外任务成功率为 25.07%；加入这些任务的视频但不给动作标签，升到 55.90%；每个任务再加一条带动作标签的示范，升到 70.70%。在完整数据设置下，WorldBridge 在 RoboTwin 2.0 上取得 96.23% 的平均成功率。

WorldBridge 把视频预测与动作生成拆成两个专家，用结构化注意力把预测出的未来画面接到动作上，并在 RoboTwin 2.0 上检验视频与动作监督各自的作用。只用分布内视频-动作监督时，分布外任务成功率为 25.07%；加入这些任务的视频但不给动作标签，升到 55.90%；每个任务再加一条带动作标签的示范，升到 70.70%。在完整数据设置下，WorldBridge 在 RoboTwin 2.0 上取得 96.23% 的平均成功率。