跳到主要内容
检索

# 视觉语言导航

6 篇关联报道

订阅更新
  1. arXiv

    长程导航不再堆历史帧:记忆压缩加同环境跨回合复用,RxR-CE成功率提高6.5个百分点

    MemoryVLN把长程视觉语言导航的历史观测压成带位姿的空间记忆,并在同一环境内跨回合复用,在R2R-CE与RxR-CE上把成功率分别提高约2%和6.5%。

  2. arXiv

    导航智能体不再重复已走过的指令:把执行进度和决策绑在一起,R2R成功率提高3个百分点

    视觉语言导航智能体此前把整条指令与候选路径做全局粗匹配,已经执行过的内容会继续干扰后续决策。VLN-AIEP把执行进度估计与导航决策耦合:先用已走轨迹抑制已执行指令的嵌入,再让候选位置只与待执行内容匹配,因此进度估计可以直接从导航决策标签学习,不需要显式的进度标注。在R2R、RxR、CVDN和R2R-CE四个数据集上,该方法在多个指标上取得有竞争力的结果,例如R2R val-unseen成功率77%,比PRET高3个百分点。

  3. arXiv

    NavGPT-3 用 OS 式运行时把语言模型推理与 VLA 执行接成一条可中断的导航回路,在 RxR-CE 上以 90.43 SR 追平人类跟随者

    NavGPT-3 把语言模型 Planner 与 8B 导航动作策略 NavGPT VLA 通过一个 harness 和 OS 式运行时连接起来:推理、执行与监控作为独立线程运行,运行时按优先级分配运动权限,使机器人可被中断并切换线程;完整系统在 R2R-CE 达到 81.51 SR,在 RxR-CE 以 90.43 SR 与 78.47 nDTW 追平人类跟随者,并把系统最小反应时间从每次语言模型决策 3–19 秒降到每个动作策略步 0.5–1 秒。

  4. arXiv

    GeoScaffold 用训练期几何重建监督把深度、连通性与可通行性内化进 Video-LLM 导航策略,在连续 VLN 基准上稳定超过纯视觉导航器

    该工作提出 GeoScaffold 几何监督框架:先在训练轨迹的深度图上学习一个紧凑深度分词器并冻结,再用少量可学习几何查询 token 微调策略,令其隐藏状态重建深度、连通性与可通行性等导航关键几何,从而把几何内化进策略本身;训练后分词器、目标生成器与重建头全部丢弃,主干与动作接口保持不变,实验显示其在连续 VLN 基准上稳定优于领先的纯视觉导航器,为空间感知具身导航模型的轻量边缘部署提供了一条实用路径。

  5. arXiv

    PanoVLN 用全景视觉把 R2R-CE 成功率推到 77.3%,比此前最好结果高 11.9 个百分点

    PanoVLN 以 4B 视觉语言模型和纯 RGB 全景输入做连续环境视觉语言导航,通过更长动作序列监督、置信度引导执行、面向决策的训练数据与全景几何特征融合,在 R2R-CE 与 RxR-CE Val-Unseen 上把成功率提升到 77.3% 和 78.0%,分别超过此前最好结果 11.9 和 8.7 个百分点,并在四足机器人上实现更少停顿的实机导航。

  6. arXiv

    AdaGeoVLN:在表示深度与导航时间两个维度上选择性使用几何信息

    该工作提出 AdaGeoVLN 流式视觉语言导航框架,将 VGGT 几何基础模型在深度 11、17、23 的中间表示分别耦合到 Qwen3.5-4B 的前三个解码层,并按指令相关性、几何置信度与转移新颖度在固定预算下保留历史 VGGT 全局注意力 KV 状态,在 R2R-CE 与 RxR-CE Val-Unseen 上仅用单路 RGB 流、不额外使用导航专用外部数据即取得 55.7%/51.4% 与 54.1%/44.7% 的 SR/SPL,消融显示多深度耦合显著优于在相同融合位置重复注入末端特征,且受限的导航感知保留在降低 GFM-KV 内存的同时保持导航性能。

已读完全部报道