跳到主要内容
返回时间线
arXiv来源发表:

机器人不必每一步都预演未来:Bind-WAM用语言与物体的绑定不确定性决定何时想象,LIBERO平均成功率98.60%

核心概要

世界动作模型(WAM)把未来画面和动作一起预测,但每一步重规划都生成未来代价高,也未必必要。Bind-WAM把“语言指令中的角色是否稳定落在当前画面的物体上”作为可解释信号:离线流程用完整示范标注参考错配、目标不可见和身份漂移,训练一个约6.65M参数的轻量路由器,在线据此在直接动作预测与联合未来-动作去噪之间切换。在LIBERO上,Bind-WAM平均成功率98.60%,仅在40.58%的重规划状态调用联合路径,平均完成时间从Fast-WAM-Joint的15.73秒降到11.71秒。

Source-provided article image: Bind-WAM: Binding-Uncertainty-Guided Selective Future Imagination in World Action Models
arXiv

深度剖析

机器人策略不再默认每个重规划步都要生成未来画面,而是由当前观测与语言指令之间的绑定不确定性决定是否调用联合未来-动作预测。 此前的世界动作模型要么在部署时完全去掉未来想象,要么在每一步都做联合生成;AdaWAM按执行阶段选择推理方式,但没有给出判断当前状态是否真正需要未来预测的信号。 在LIBERO上,Bind-WAM平均成功率98.60%,高于复现的Fast-WAM的97.1%和Fast-WAM-Joint的98.4%,同时把平均完成时间从Fast-WAM-Joint的15.73秒降到11.71秒,联合路径只在40.58%的重规划状态触发。

判断依据是语言指令给物体分配的角色是否在当前画面中稳定成立,例如“把碗放到盘子上”里碗是被操作对象、盘子是参照物。 离线标注流程用Qwen3-VL-32B识别任务相关实体,用SAM 3.1生成并沿轨迹传播实例掩码,再用DINOv3 ViT-L/16特征在掩码内池化来度量身份一致性,从而给参考错配、不可见和身份漂移打上不确定标签。 这些二值标签只以当前RGB观测和语言指令为输入,训练一个约6.65M参数的路由器;在LIBERO与RoboTwin 2.0上,该预测器的平衡准确率分别为87.59%和96.75%,AUROC分别为0.9653和0.9984。

两条推理路径共用同一套参数,只在动作 token 能看到哪些视频 token 的注意力掩码上不同。 直接路径让动作 token 只关注当前帧,联合路径让动作 token 关注全部视频 token,从而利用去噪出的未来视觉隐变量。 路由器还比较相邻两次重规划之间不确定性的变化,而不只看绝对值;在LIBERO上,绑定不确定性路由的成功率为98.60%,高于相同未来预测比例下随机路由的97.35%和均匀路由的97.50%,平均完成时间也从14.58至14.64秒降到11.71秒。

启示与展望

演示范围是LIBERO与RoboTwin 2.0仿真基准,以及HEXFELLOW ARCHER-D6Y双臂平台上的折毛巾、交接放置和形状对齐三项真实任务,真实任务每项评估11次;离线标注只使用顶置、前置或中央相机视角。

联合去噪比例在LIBERO上呈非单调趋势,约30%至33%时成功率98.15%至98.40%,40.58%时达到最高的98.60%,继续提高不再带来增益;阈值决定联合路径所占比例,作者把任务结果反馈纳入路由器训练和扩展到更多真实任务与平台列为后续方向。