SNAP用受限解码器与潜空间重建目标，让新视角合成预训练产出可迁移几何表征
相关研究与后续进展
核心概要
作者提出SNAP，一个自监督编码器-解码器Transformer：编码器在无位姿条件下用全跨视角自注意力聚合冻结DINOv3 patch特征，解码器用PRoPE位姿条件化并施加BlockNN掩码把目标视角自注意力限制为逐点残差MLP，训练目标是对齐冻结DINOv3特征的潜空间重建并加入一阶空间有限差分惩罚；在RealEstate10K、DL3DV、Co3Dv2约11.7万序列上训练后，冻结编码器在点对应、视觉定位、相对位姿、相对深度与MimicGen机器人操作五项任务上匹配或超过自监督基线，并在相机偏移下比2D语义编码器退化更平缓。
Figure 1 : Training and inference pathways. Top (Inference): A pose-free multi-view encoder processes reference frames via a frozen DINOv3 featurizer ( φ \varphi ) and cross-view self-attention to construct an implicit 3D scene latent Z Z . Bottom (Training): A pose-conditioned local decoder queries Z Z using PRoPE to predict the feature map of a novel target view. Supervision ( ℒ recon \mathcal{L}_{\mathrm{recon}} ) is applied in a semantic latent space against a frozen DINOv3 teacher, completely bypassing pixel-level rendering and forcing geometric structure into the encoder.
arXiv深度剖析
SNAP把新视角合成从图像重建任务改造为几何表征预训练任务：编码器不接收相机参数，解码器接收目标与上下文内外参，通过PRoPE旋转注意力使世界射线对齐的token获得高注意力分数，从而在潜空间预测目标视角的DINOv3特征图。 此前的编码器式NVS方法（LVSM、RayZer、LagerNVS等）以图像重建质量为主要评价，其学到的中间表征迁移到几何任务时表现不佳；SNAP把监督信号从RGB像素改为冻结DINOv3的语义潜特征，并让位姿条件只作用于解码器。 方法在RealEstate10K、DL3DV、Co3Dv2约117,000条序列上训练，编码器16层自注意力、嵌入维度1024、8组交替PRoPE交叉注意力与掩码自注意力，使用GQA（16查询头、8 KV组），训练40,000步、有效批大小256，并对全部可训练参数做衰减0.999的EMA，评测使用EMA权重。
解码器感受野越大，重建误差越低，但下游几何迁移越差；把目标视角自注意力限制为逐点残差MLP（BlockNN掩码窗口为1）反而使点对应、视觉定位与位姿估计同时改善。 该工作把“重建保真度不等于表征质量”这一现象做成可独立操控的机制实验：仅改变BlockNN掩码窗口，从1到覆盖整张特征图，其余解码器结构不变，从而把解码器表达力与预测空间两个因素分离开。 感受野扫描显示重建目标随感受野增大而改善，而点对应误差、视觉定位与位姿估计随感受野增大而退化；定性上窗口为1时相似度图在对应点附近尖锐且跨视角稳定，完全自注意力时相似度图并不总能跟踪真值对应。
预测目标所在的特征空间决定表征质量：更容易重建的低层目标（更接近RGB）并不产生最好的空间表征，预测更高层DINOv3特征时下游几何更好；输入层4在分布内PCK与MRR上优于层11，但内在维度更高，因此作者选择层11作为输入以换取更压缩、更不变的多视图表征。 以往NVS模型多在像素空间监督重建，容易强调外观、纹理与光照；SNAP系统扫描DINOv3的输入层与目标层组合，用特征重建误差、PCK@0.1、patch检索MRR与TwoNN内在维度共同刻画取舍。 扫描在RE10K与DL3DV验证子集上进行，报告了特征重建误差、最近邻点对应PCK@0.1、patch检索MRR与TwoNN内在维度；附录G进一步用mAP/MRR、循环一致性与方差比显示中层输入配末层目标虽提升原始对应，却降低循环一致性。
冻结的SNAP编码器在五项任务上匹配或超过自监督基线，并在无任何机器人数据训练的情况下于MimicGen相机偏移下优于其DINOv3教师、一般优于Adapt3R，且接近完全几何监督的VGGT。 该工作把NVS预训练表征放到点对应、视觉定位、相对位姿、相对深度与机器人操作五类任务上统一评测，其中深度与操作在预训练未见域（Hypersim、7Scenes、MimicGen）上评测，以检验域外泛化。 点对应在RealEstate10K各像素阈值上超过自监督基线，在DL3DV与VGGT接近；视觉定位在多数指标上处于自监督模型前沿；相对位姿在NVS类方法中旋转精度较高；深度在7Scenes上AbsRel为0.9257，优于LVSM的1.9474与LagerNVS的2.3858，但VGGT的1.9138在Hypersim上更优；机器人操作在0到某弧度相机偏移下评测，语义编码器（DINOv3、ResNet）在超过某弧度后迅速崩溃。
启示与展望
该结果面向使用带位姿多视图图像做自监督几何预训练的研究者与工程团队，适用于静态、有纹理场景与固定计算与数据预算下的编码器-解码器NVS架构；方法可直接迁移到以冻结视觉教师特征为目标的预训练流程，并已在点对应、定位、位姿、深度与仿真机器人操作上验证。作者指出当前预训练依赖带位姿视频序列与静态纹理场景，尚未揭示该架构的完整缩放规律，扩展到动态视频是下一步。
读者仍需关注：感受野与预测空间的扫描主要在RE10K与DL3DV验证子集上报告，跨数据集与跨教师的稳健性由附录补充；深度任务中显式3D监督的VGGT在Hypersim上仍更优，且LagerNVS与SNAP的解码分辨率不一致（518px对256px），作者也指出这一差异可能影响深度比较；机器人操作在仿真MimicGen上评测，真实平台表现尚待观察；动态视频与更大规模缩放规律仍是开放问题。