流式三维模型预测不再改不了:Map2SLAM把它接成可回环修正的实时SLAM,平均ATE降四成以上
核心概要
流式三维基础模型能在线估计相机位姿和稠密几何,但预测一旦输出就固定,长序列漂移无法靠回环修正。Map2SLAM冻结LingBot-Map,只训练一个轻量检索头,把模型的因果流式推理当作前端跟踪、把双向前缀推理当作后端重观测,让预测成为可修订的外部SLAM状态。在KITTI、VBR和Oxford Spires上,其平均ATE比最好的未标定基线低42.7%–48.3%,并在NVIDIA RTX 5090D上以超过28 FPS实时跟踪。
深度剖析
流式三维基础模型的输出从一次性预测变成可被回环反复修订的观测,长序列累积的轨迹漂移因此能在跟踪过程中被在线纠正。 此前这类模型的预测一经输出便固定,长序列上漂移持续累积,即使相机重回已知地点,早先的估计也无法被改正,因此还不能替代SLAM。 在KITTI、VBR和Oxford Spires三个基准上,Map2SLAM取得未标定方法中最低的平均ATE,比第二名低42.7%–48.3%,并在28条序列中的26条上排名第一或第二。
系统把同一个冻结模型的两种推理模式分派到前后两端:前端用因果续推逐帧跟踪,后端用双向前缀在新鲜上下文里重新观测历史帧。 已有把三维基础模型与SLAM结合的做法按固定模式调用模型,例如按预定义分块、帧对或单次因果推理,而不是调度模型推理。 前端在有限窗口内跟踪,每个候选帧先做一次关键帧探针,按预测几何诱导的投影运动决定提交还是回滚KV更新;后端用缓存特征提出回环候选,经双视图几何一致性验证后进入增量位姿图优化。
所有模型调用共享每张图像一次帧编码器前向,缓存特征同时供几何推理和回环检索使用,因此频繁重调用不增加额外编码开销。 回环检索头只训练1.8M参数的SALAD聚合头,帧编码器保持冻结,训练在GSV-Cities上进行10个epoch,单张RTX 5090D上约2小时。 该描述子在MSLS-val、Pitts250k-test和SPED上的平均Recall@1为88.2,与EigenPlaces的88.5和MixVPR的89.0相当,但低于专门用于视觉位置识别的DINOv2类模型。
启示与展望
演示范围是KITTI、VBR和Oxford Spires三个公开数据集上的轨迹精度与实时性,硬件为NVIDIA RTX 5090D,前端与后端分别运行在两张GPU上;稠密几何精化只在序列结束后执行,在线全局修正由增量位姿图优化提供。
成对几何验证被去掉后,加入回环检索与位姿图优化反而把平均ATE从15.277米抬到71.825米,说明检索候选必须经过几何过滤;GNC-TLS对KITTI平均ATE影响很小,其作用体现在VBR压力序列上避免轨迹失败;稠密精化若自由对齐分段,会把平均ATE从7.489米恶化到12.962米,固定由位姿图优化给出的对齐后才恢复。
