相机一动,几何特征就变:把视角从世界状态里拆出去,预测能多推1.4秒
核心概要
自动驾驶的3D世界模型常把几何基础模型的特征当作未来状态,但这类特征随相机视角变化,使模型要同时预测场景演化和相机运动。GeoState把多视角特征压缩成与视角无关的场景状态,只在解码时用相机射线查询,相机轨迹另行建模。在Waymo上,它在各预测时域优于对比世界模型,并零样本迁移到KITTI和nuScenes。
深度剖析
3D世界模型的预测状态可以不再随相机视角改变,同一份场景状态能在不同相机下解码出深度。 此前把几何基础模型特征直接当作预测状态,相机移动本身就会让特征大幅变化,时间模型被迫同时拟合场景演化和视角变化。 在Waymo上,用预测相机时,该方法在报告的每个时域上两项深度指标都优于DINO-Foresight、VGGT-World和FR3D,且优势随预测时域增大。
场景状态由多视角几何特征聚合而成,查询视角只在解码阶段进入。 场景分词器把冻结的VGGT-多视角特征连同三维点、相机位姿和射线编码聚合成定长状态,几何解码器再按查询相机的Plücker射线取回该视角的深度。 世界模型在Waymo约14万个窗口上训练,每个窗口含四个上下文状态和七个间隔0.2秒的未来状态,评测用100个留出窗口。
相机运动被单独建模,预测状态可用预测相机或外部指定相机解码。 时间模型只预测场景状态的残差更新,相机轨迹由单独的相机预测器给出,因此回放全程沿用同一套由上下文导出的尺度。 在KITTI的113段可用驾驶序列和nuScenes全部150个验证场景上,不做目标域适配,该方法在两项指标、各时域上均优于对比方法。
启示与展望
演示范围是大规模动态驾驶场景:Waymo用于域内评测,KITTI和nuScenes用于零样本迁移,指标是相对LiDAR深度的AbsRel和δ<1.25。方法面向以几何基础模型特征为预测状态的3D世界建模读者,尺度在观测上下文上标定一次并贯穿整个回放。作者提出未来可把该框架扩展到具身场景,使预测场景状态支持感知、规划与交互,但未给出该扩展的结果。
作者指出,VGGT-的特征依赖同一次前向中的其他图像,深层特征的相对差异明显大于标定后深度图的差异,因此由观测构造的目标状态并非纯几何。消融显示,把状态匹配延续到自回归回放会损害长时域表现,作者将此归因于这类上下文相关变化。跨查询一致性比较中,观测编码参考使用了目标时刻的LiDAR标定,属于带特权信息的参照。
