跳到主要内容
返回时间线
arXiv来源发表:

Kosmo-GFM把几何基础模型接上位姿优化:34个场景平均位姿精度超过GLUEMAP,重建时间从69.67小时降到14.07小时

核心概要

Kosmo-GFM把几何基础模型GFM与位姿优化引擎PoseEngine组合成一套场景重建系统:GFM从图像和视频预测相机、深度、跨视角对应与动态三维点,PoseEngine再把这些先验纳入优化。在全部对比方法都完成的34个场景上,PoseEngine的平均位姿精度高于GLUEMAP,累计重建时间由69.67小时降至14.07小时;快速版本PoseEngine Flash用时2.62小时并保持全部图像配准。

Source-provided article image: Kosmo-GFM: A Production-Ready Geometry Foundation Model
arXiv

深度剖析

场景重建不再只靠特征匹配和几何优化,也不再只靠基础模型的直接预测,而是让基础模型提供相机、深度、跨视角对应和动态点,再由优化引擎把这些预测整理成整场景一致的相机与几何。 传统重建依赖可靠视觉对应和足够视角重叠,无纹理区域、重复结构、大基线和动态场景都会削弱相机估计与几何恢复;基础模型预测本身又不天然满足整场景的跨视角与时间一致性。 在SpatialBench的Sparse与Medium两个子集上,Kosmo-GFM的绝对相对深度误差AbsRel分别为0.063和0.059,低于表中列出的其他方法;在全部对比方法都完成的34个场景上,PoseEngine的平均位姿精度高于GLUEMAP。

GFM用一套共享的多视角特征,由多个任务专用解码器分别读出相机、深度、跨视角匹配和动态点,PoseEngine则把每张中心图与邻居图组成星形组,在一次前向中同时取得几何先验和对应关系。 PoseEngine沿用GLUEMAP的星形组组织方式,每组26张图像;无序图像集合用SALAD全局描述子检索候选邻居并以Doppelgangers++验证,有序序列主要取时间相邻帧。 位姿评测覆盖34个场景、共11336张输入图像,包括15个ETH3D、9个MipNeRF360、6个Tanks & Temples和4个SMERF场景;PoseEngine的AUC@5为94.26,GLUEMAP为90.66。

训练数据来自KosmoWorld:把真实场景重建结果转成带深度和相机位姿的图像序列,用于学习几何先验。 在Sparse与Medium两个子集上,加入KosmoWorld后深度与相对位姿估计都得到改善。 Sparse子集的AbsRel由0.0854降到0.0630,Medium子集由0.0740降到0.0594;同一对照中Sparse的AUC@30由0.7197升到0.7412,Medium由0.7107升到0.7450。

启示与展望

评测范围是SpatialBench的Sparse与Medium子集上的深度、相对位姿与动态点,以及34个场景、11336张输入图像的场景级位姿与运行时间对比;3DGS渲染分数是在对测试位姿做图像条件细化之后测得,不是固定位姿的泛化测试。

缩放实验没有建立可外推的定量缩放律,3.2B循环深度变体在更高训练预算下增益变小,作者提出训练集规模与循环深度边际收益两种可能解释;动态点在被查询点于目标帧被遮挡时仍出现时间抖动,静态与动态训练配比的影响尚待受控消融确认。