SWAM把视频先验接到机器人动作上：随机场景成功率61.56%，超过OpenWAM 12.86个百分点
核心概要
上海交通大学等机构构建约4.7万小时多源数据池，把预训练视频模型的语言—视频先验延伸到语言—视频—动作学习，形成世界动作模型SWAM。在RoboTwin 2.0的50个操作任务上，SWAM在随机化Hard设置下成功率为61.56%，比最强基线OpenWAM高12.86个百分点；在干净Easy设置下为88.10%，略低于OpenWAM的89.30%。真实双臂平台上，三个任务平均Hard成功率40.00%，OpenWAM为23.33%。
深度剖析
世界动作模型在训练中同时预测视频变化与机器人动作，使视频预训练得到的语言—视频对应关系可以继续用于动作生成，而不是在引入动作监督后被替换掉。 此前的世界动作模型工作多集中在模型架构与训练机制上，视频预训练方法通常把语言—视频对齐当作已经建立好的基础，引入动作学习后如何保留这一先验、并处理语言—视频—动作之间的错位，缺少系统考察。 在RoboTwin 2.0的50个任务上，SWAM在随机化Hard设置下成功率为61.56%，比最强基线OpenWAM的48.70%高12.86个百分点；Easy设置为88.10%，OpenWAM为89.30%，两者在干净条件下接近。
模型由视频分支和动作分支组成，视频分支从Wan2.2-TI2V-5B初始化，动作分支随机初始化，两者各自保留残差流，信息只从视频单向流向动作。 动作分支不直接接收文本交叉注意力，语言信息只通过视频分支的注意力交互传入，从而复用视频预训练中已经建立的语言与视觉动态对应关系。 在相同的3万步多源预训练下，采用这一语言条件通路的双流结构Hard成功率为57.36%，比标准双流结构的52.48%高4.88个百分点；单流结构为52.56%。
多源经验按监督类型分工：通用视频与第一人称视频提供语言—视频监督，UMI演示与机器人演示额外提供状态和动作监督，没有有效动作标注的样本只参与视频学习。 在固定2万步预算下，第一人称视频与UMI数据按1:1采样时Hard成功率为53.84%，高于仅用UMI的51.28%，也高于仅用第一人称视频的42.56%。 UMI动作标注覆盖率从0%提高到100%时，Hard成功率从46.72%升到51.28%，提高4.56个百分点，且五个覆盖率水平上均随覆盖率上升。
启示与展望
评估覆盖RoboTwin 2.0的50个操作任务，以及双臂Flexiv Rizon 4平台上的叠杯、叠毛巾和礼物入盒三个任务；仿真每个任务与设置跑100回合，真实世界每个任务与设置固定10种布局、每种3次试验共30次。作者表示会公开数据、代码与模型权重。
作者指出，该方法在复杂推理和显式多阶段规划上支持有限，历史上下文长度也可能限制长程任务执行，并计划用记忆机制与分层规划来扩展。预训练规模带来的提升只在所评估的范围内持续，真实世界Hard成功率与部分成功率随训练视频小时从2.25万增至9万而上升。