跳到主要内容
返回时间线
arXiv来源发表:

导航智能体不再重复已走过的指令:把执行进度和决策绑在一起,R2R成功率提高3个百分点

核心概要

视觉语言导航智能体此前把整条指令与候选路径做全局粗匹配,已经执行过的内容会继续干扰后续决策。VLN-AIEP把执行进度估计与导航决策耦合:先用已走轨迹抑制已执行指令的嵌入,再让候选位置只与待执行内容匹配,因此进度估计可以直接从导航决策标签学习,不需要显式的进度标注。在R2R、RxR、CVDN和R2R-CE四个数据集上,该方法在多个指标上取得有竞争力的结果,例如R2R val-unseen成功率77%,比PRET高3个百分点。

Source-provided article image: Robust Vision-Language Navigation with Awareness of Instruction-Execution Progress
Fig. 1 · arXiv

深度剖析

导航智能体在每一步只与指令中尚未执行的部分匹配,而不是把整条指令与候选路径整体比对,从而避免已完成的步骤继续影响当前决策。 此前的图式方法把完整候选轨迹与整条指令做全局粗匹配,已执行内容会干扰后续判断,例如让智能体把“左转”执行两次。 在R2R上,val-seen、val-unseen和test-unseen的成功率分别为81%、77%和74%,比PRET分别高3、3和2个百分点。

执行进度不再需要单独的标注或额外的学习阶段,而是由导航决策的损失直接监督。 传统进度监视器用归一化目标距离作监督,后续方法则依赖人工标注、自动生成的对齐数据、专门的进度学习阶段,或在线调用大模型反复推理。 在RxR上,val-seen和val-unseen成功率分别为85.9%和74.5%,比PRET高6.6和1.7个百分点;在R2R-CE val-unseen上,导航误差4.39、OSR 68%、SR 60%、SPL 50%,在相同路点预测器下SR和OSR比ETPNav高3个百分点。

轨迹表示以指令提到的地标为空间锚点,把地标的语义标签和相对视角的几何信息编码进全景特征,帮助把已走轨迹与已执行的指令内容对应起来。 此前地标多用作物体线索、监督目标或离散的进度状态,没有作为轨迹证据用于进度估计。 在R2R val-unseen的消融中,加入地标使成功率提高2.38个百分点、SPL提高1.91个百分点;地标锚定的掩码语言建模使成功率提高4.08个百分点、SPL提高1.96个百分点。

启示与展望

该方法在R2R、RxR、CVDN和R2R-CE四个数据集上验证,覆盖离散图环境与连续环境,其中R2R-CE使用与ETPNav相同的路点预测器。适合关注视觉语言导航、长程指令跟随和具身智能体的研究人员与工程师阅读。

在CVDN上,val-unseen的GP为6.44,高于NaviLLM的6.16,但test-unseen为6.90,低于NaviLLM的7.90。终止重思策略只带来0.41个百分点的成功率提升,属于辅助性改进。零样本方法DiscussNav、Open-Nav和Fast-SmartWay只在部分划分上报告结果,仅作参考,未与本文方法直接比较。