长序列三维重建的融合瓶颈被绕开:CrossPressor免训练把256视角跨视图融合从125毫秒压到4.8毫秒
核心概要
前馈三维高斯泼溅在视角数增长时,锚点式压缩虽固定了解码端表示,却让支撑视图到锚点的融合计算随视角数膨胀。CrossPressor不改动已训练检查点,在K/V投影前按覆盖循环路由支撑特征,把保留的空间证据分散到各支撑视图与融合层。在256视角下,它只保留1.85%的稠密QK交互,跨视图延迟从125.28毫秒降到4.80毫秒,渲染质量接近稠密融合。
深度剖析
前馈三维高斯泼溅扩展到长多视角序列时,瓶颈从解码端表示转移到支撑视图到锚点的融合:锚点数量固定,但每个锚点要聚合的支撑视图越来越多。 ZPressor这类锚点压缩把输入视角分成固定组数、每组选一个锚点视图,只把更新后的锚点特征送入高斯解码器,因此增加支撑视图不会直接增加解码器输入或高斯数量。 在256视角的RealEstate10K评测中,未改动的稠密ZPressor跨视图融合耗时125.28毫秒,端到端432.16毫秒,作为对照基准。
CrossPressor在推理时压缩支撑侧序列,同时让每个支撑相机都保留代表,从而在不重训练的情况下降低融合开销。 它保留全部面向解码器的锚点查询,只对随视角增长的支撑序列做路由,因此相机分组、锚点表示、注意力模块和高斯解码器都不变。 在同一个MVSplat–ZPressor检查点上,256视角时CrossPressor保留1.85%的稠密QK交互,跨视图延迟4.80毫秒、加速26.12倍,端到端303.18毫秒、加速1.43倍,PSNR为23.1203,稠密基准为23.1204。
路由规则按簇选择空间步长,并在支撑视图与融合层之间循环采样偏移,使保留的证据覆盖不同空间位置。 若对所有支撑视图和融合层使用同一稀疏网格,就会反复选中相同位置;若只选少数完整支撑视图,又会减少相机参与。 在256视角的路由消融中,仅按视图错开把p5 PSNR退化从固定路由的0.0204 dB改善到0.0064 dB,视图加层循环进一步把最差情况改善到0.0478 dB,并消除低于0.05 dB的失败场景。
启示与展望
评测在已发布的MVSplat–ZPressor与DepthSplat–ZPressor检查点上以推理方式应用,主模型为MVSplat–ZPressor,使用RealEstate10K的256个上下文视角与8个目标视角,并在ACID的599个场景上做跨数据集检验;所有对比方法共用同一检查点且不重训练。
整体流程并未完全摆脱视角数:路由元数据仍随支撑视图数增长,特征提取等逐视图操作保持不变,因此端到端加速小于融合层加速。路由负载并非严格单调,因为步长从2的幂中离散选取且支撑视图在锚点簇间分布不均,128视角时六个簇中仍有四个使用较细步长。
