灵巧手不再先想象未来:DexForesight把空间预判压进策略潜空间,真机成功率58.3%
核心概要
DexForesight把动作条件下的空间世界模型学到的预测特征,通过查询对齐注入灵巧操作策略的潜空间,部署时只保留策略,仅用RGB、语言和机器人状态生成动作。在11个DexJoCo仿真任务上,它把GR00T N1.7基座的整体成功率从49.4%提升到60.5%;在三个真机任务上达到58.3%,比最强基线高8.3个百分点。世界模型、深度编码器和未来预测头在推理时全部移除。
深度剖析
灵巧操作策略可以在不生成任何未来画面的情况下获得手与场景的空间预判,部署时只依赖当前RGB图像、语言指令和机器人状态。 此前的世界动作模型通常把未来预测作为推理过程的一部分,在每一步控制中生成未来图像、运动或空间状态,再据此选择动作。 在11个DexJoCo仿真任务上,DexForesight整体成功率为60.5%,比最强基线Fast-WAM高9.6个百分点,比其基座GR00T N1.7高11.1个百分点,而部署时既不运行空间世界模型也不做未来解码。
做法是先在训练阶段训练一个动作条件下的空间世界模型,再把它的预测特征对齐进策略的查询表示。 该世界模型以离线估计的场景深度、由机器人状态经正运动学算出的手部几何,以及演示轨迹为输入,预测手部固定点的三维位移和图像特征的变化。 世界模型在约370小时、覆盖60个任务和五个类别的演示数据上训练,其中100小时子集带StereoAnyVideo离线估计的深度;训练完成后冻结世界模型,用查询对齐把其查询特征迁移给策略,动作专家据此生成动作。
启示与展望
演示范围是11个DexJoCo仿真任务和三个真机任务(Close Box、Insert Battery、Screw On Lid),真机每任务20次试验,全部使用留出物体位置,Screw还改变杯子的颜色。读者对象是关注灵巧操作与视觉语言动作模型的研究人员和工程师。
真机上的WLA与Fast-WAM属于不同训练与部署策略的外部对照,架构和训练差异使其不能被当作单变量因果控制。潜空间探针显示DexForesight在0.13、0.27、0.54秒三个预测时域上的误差都低于同架构的QwenVLA,但探针误差本身并不等同于任务成功率。
