跳到主要内容
返回时间线
arXiv来源发表:

长程导航不再堆历史帧:记忆压缩加同环境跨回合复用,RxR-CE成功率提高6.5个百分点

核心概要

MemoryVLN把长程视觉语言导航的历史观测压成带位姿的空间记忆,并在同一环境内跨回合复用,在R2R-CE与RxR-CE上把成功率分别提高约2%和6.5%。

Source-provided article image: MemoryVLN: From Ego-Aware Memory Representation to Cross-Context Memory Reuse in Vision-Language Navigation
Figure 2 · arXiv

深度剖析

长程导航的瓶颈被重新定位为记忆的组织方式,而不是单纯把上下文窗口开得更大。 此前的连续环境导航方法多把累积观测编码成视频或上下文序列、保留快慢两路上下文,或依赖有界历史与显式地图,很少把压缩、自我中心表示、跨上下文组织与检索放进同一套机制。 在R2R-CE与RxR-CE的val-unseen划分上,与数据条件可比的最强基线相比,成功率分别提高约2%和6.5%,且训练只用标准VLN轨迹,不用DAgger回放或额外导航数据。

历史观测被转成紧凑、带空间落点、可检索也可在同一环境内跨回合复用的导航经验。 长序列压缩按遗忘曲线式的采样在固定token预算下保留密集的近期证据和稀疏但有代表性的远期观测,自我中心视空间表示再把二维语义token、三维几何token与六维智能体位姿绑到同一条记忆上。 分层记忆库用先进先出的短期池和余弦加权合并的长期池保存回合内经验,场景级记忆库以0.6的余弦阈值做热启动、以0.4的置信度门控写回,且只在同一环境范围内保留,记忆增强再按当前状态检索最相关的若干条并与当前帧token残差融合。

消融显示四个模块各自承担不同作用,压缩是长程推理能否跑通的前提。 去掉长序列压缩后,历史视觉token随轨迹长度持续增长,两个基准上都出现显存不足;去掉位姿编码、回合内记忆库或场景级记忆库则各项指标下降。 在R2R-CE上恢复位姿编码使OS、SR、SPL分别提高3.16、2.01、1.01个点,回合内记忆库把SR和SPL从53.34和49.06提到54.76和50.26;在RxR-CE上回合内记忆库使SR、SPL、nDTW分别提高1.15、2.29、1.69个点。

启示与展望

报告面向做具身导航与视觉语言模型的研究人员和工程师,覆盖的是R2R-CE与RxR-CE的val-unseen划分,以及Habitat仿真中的定性对比和一台Unitree GO2四足平台在真实办公室里的五个指令演示。场景级记忆库只在同一环境范围内保留,回合内记忆库在每个回合边界重置,因此跨场景信息不会进入另一场景的评估。真实机器人实验被定位为定性演示,而不是大规模物理世界基准。

R2R上的成功率与SPL提升在配对检验下未达到统计显著,RxR上的提升才显著;所有报告结果来自种子42的单次训练,没有给出跨运行波动。失败案例显示,场景级记忆库会把一次最终导航误差5.39米的失败回合写回,并在后续回合以1.0000的余弦相似度被检索到,但关闭场景级记忆库后同一回合仍以56步、10.28米误差失败,因此该记忆库不是唯一原因。长指令下还会出现子目标进度丢失与过早停止。