SWAM把视频先验接到机器人动作上:随机场景成功率61.56%,超过OpenWAM 12.86个百分点
上海交通大学等机构构建约4.7万小时多源数据池,把预训练视频模型的语言—视频先验延伸到语言—视频—动作学习,形成世界动作模型SWAM。在RoboTwin 2.0的50个操作任务上,SWAM在随机化Hard设置下成功率为61.56%,比最强基线OpenWAM高12.86个百分点;在干净Easy设置下为88.10%,略低于OpenWAM的89.30%。真实双臂平台上,三个任务平均Hard成功率40.00%,OpenWAM为23.33%。