跳到主要内容
检索

# 世界动作模型

15 篇关联报道

订阅更新
  1. arXiv

    力觉世界模型拆开两件事来学:演示定目标,玩耍数据补接触响应,四类真机任务成功率最高到95%

    接触密集操作里,专家演示只覆盖成功路径,难以说明力如何随动作变化;无任务目标的玩耍数据记录了更广的接触动力学,却不对应任务目标。ForceWAM把“任务期望的运动与六轴力/力矩未来”交给力觉世界模型从演示中学习,把“哪些动作能实现这一未来”交给逆动力学模型从演示与玩耍数据共同学习,部署时用新测得的力反馈在两次世界模型更新之间反复修正动作。在力调节滑动、有扰动与无扰动的翻箱、套环放置四类真机条件下,完整系统成功率分别为85%、95%、85%、90%,均高于所列基线。

  2. arXiv

    机器人不必每一步都预演未来:Bind-WAM用语言与物体的绑定不确定性决定何时想象,LIBERO平均成功率98.60%

    世界动作模型(WAM)把未来画面和动作一起预测,但每一步重规划都生成未来代价高,也未必必要。Bind-WAM把“语言指令中的角色是否稳定落在当前画面的物体上”作为可解释信号:离线流程用完整示范标注参考错配、目标不可见和身份漂移,训练一个约6.65M参数的轻量路由器,在线据此在直接动作预测与联合未来-动作去噪之间切换。在LIBERO上,Bind-WAM平均成功率98.60%,仅在40.58%的重规划状态调用联合路径,平均完成时间从Fast-WAM-Joint的15.73秒降到11.71秒。

  3. arXiv

    SWAM把视频先验接到机器人动作上:随机场景成功率61.56%,超过OpenWAM 12.86个百分点

    上海交通大学等机构构建约4.7万小时多源数据池,把预训练视频模型的语言—视频先验延伸到语言—视频—动作学习,形成世界动作模型SWAM。在RoboTwin 2.0的50个操作任务上,SWAM在随机化Hard设置下成功率为61.56%,比最强基线OpenWAM高12.86个百分点;在干净Easy设置下为88.10%,略低于OpenWAM的89.30%。真实双臂平台上,三个任务平均Hard成功率40.00%,OpenWAM为23.33%。

  4. Runway

    Runway把视频预训练模型改成机器人控制器:Praxis-1在RoboLab-120解出46.2%,权重开源

    Runway发布Praxis-1,把27B参数的视频基础模型改造成能同时预测未来画面和动作的世界动作模型,并以开放权重形式放出。机器人数据稀缺且采集昂贵,此前通用策略多依赖遥操作或第一视角录像;Praxis-1改用日常视频预训练,再经具身视频中训练和动作专家联合训练。在DROID上微调后,它在RoboLab-120的1200个回合中解出555个(46.2%),为榜单上世界动作模型和开源机器人基础模型最高。

  5. NVIDIA Blog

    机器人练精细装配不再只靠真机:Isaac Lab 3.0 接上 Newton,训练吞吐最高达 2.5 倍

    英伟达在 CoRL 上发布开源机器人技术组合,包括基于 Cosmos 的世界动作模型 GR00T 2、仿真框架 Isaac Lab 3.0 与评估框架 Isaac Lab-Arena。Isaac Lab 3.0 与开源物理引擎 Newton 更紧密集成,可模拟线缆、布料等可变形物体和多关节机械手;在基于视觉的灵巧操作基准上,Isaac Lab 3.0 配 Newton 的训练吞吐最高达到 Isaac Lab 2.3 配 PhysX 的 2.5 倍。GR00T 2 在每项任务仅一条演示时于 50 项任务上平均成功率为 71%,五条演示时升至 95%。

  6. arXiv

    一个机器人世界模型兼做策略:GreenWAM 用79个解剖槽位统一20种机体,真机指令成功率95.6%

    Sber 机器人中心发布 GreenWAM,把 Cosmos 3 Edge 改造成同时充当世界模型与策略的机器人基础模型。它用一套覆盖20个机器人家族的79槽位共享解剖动作空间,把各机体的原生关节映射到同一组腿、躯干、手臂和手指坐标,再以七种视觉—动作模式联合训练。在 WorldArena 1.0 上其轨迹、深度和3D精度在对比的世界—动作模型与视频生成器中最高;在真实 Green 人形上,分布内指令成功率为95.6%,高于由 Cosmos 3 Edge 适配的策略(88.9%)和 π0.5(84.4%)。

  7. arXiv

    WorldBridge把视频预测接到动作上:新任务只给一条示范,成功率从55.90%升到70.70%

    WorldBridge 把视频预测与动作生成拆成两个专家,用结构化注意力把预测出的未来画面接到动作上,并在 RoboTwin 2.0 上检验视频与动作监督各自的作用。只用分布内视频-动作监督时,分布外任务成功率为 25.07%;加入这些任务的视频但不给动作标签,升到 55.90%;每个任务再加一条带动作标签的示范,升到 70.70%。在完整数据设置下,WorldBridge 在 RoboTwin 2.0 上取得 96.23% 的平均成功率。

  8. arXiv

    GUI智能体不再重建未来屏幕:把预测搬进潜空间,成功率最高提升四成、延迟降98.9%

    GUI智能体的世界模型不再逐像素重建下一屏,而是让共享潜表示同时承担动作打分与动作条件未来预测,在离线与在线基准上成功率最高相对提升31.9%和40.6%,世界模型推理延迟最多降低98.9%。

  9. arXiv

    机器人策略只带权重换任务:让世界动作模型重放自己生成的过去,遗忘降九成

    世界动作模型可以只凭任务指令重新生成已学任务的完整轨迹,经截断与物理一致性筛选后回放,在四个LIBERO套件和五项真实任务上把顺序微调的遗忘降低九成以上,且不保留任何旧任务数据。

  10. arXiv

    机器人世界动作模型瘦身到0.88B:LIBERO成功率95.5%,每块动作57毫秒

    SmolWAM把2B参数的Cosmos Policy视频世界动作模型压到0.88B,在LIBERO的400个回合里成功率95.5%,每16动作块57毫秒、2.3 TFLOP、2.4 GiB显存,比教师快11倍,同时仍能预测场景运动。