跳到主要内容
检索

# VGGT

3 篇关联报道

订阅更新
  1. arXiv

    视频注意力常把不同景物认成同一处:GAD用几何模型注意力做蒸馏,Wan2.2 5B跨帧匹配率至少提升30%

    视频扩散模型在镜头移动或物体运动时容易丢失场景几何,原因是跨帧注意力常把响应分散到多个区域,无法稳定指向同一景物。GAD把冻结的几何基础模型VGGT-在干净视频上的注意力提取为对应关系目标,并按噪声时间步把监督路由到场景结构正在形成的层,用成对与跨轨两种监督训练视频注意力。在RealEstate10K与DL3DV-10K的15秒长程生成上,Wan2.2 5B加入GAD后跨帧匹配命中率在两个数据集上均至少相对提升30%,且推理时不增加额外模块或计算。

  2. arXiv

    VGGT-Diff 把 VGGT-Ω 几何潜变量路由进 Wan 视频扩散,在 6188 个 DL3DV 目标上取得 PSNR、LPIPS、DreamSim 三项第一

    VGGT-Diff 提出一种几何路由的多视角扩散框架,用冻结的 VGGT-Ω 把源视角特征连同 3D 点与置信度经置信度感知的 Visual Geometry Router 变换为与查询视角对齐的条件,注入预训练 Wan2.1-I2V-14B 视频扩散模型,并用 Point-Track Residual Consistency 沿可靠 3D 点轨迹对齐各视角的预测干净残差;在仅 980 个 DL3DV 训练场景下,于 6188 个 DL3DV-Benchmark 目标上 PSNR、LPIPS、DreamSim 排名第一、SSIM 第二,零样本 Mip-NeRF 360 上 LPIPS 与 DreamSim 第一、PSNR 第二。

  3. arXiv

    AdaGeoVLN:在表示深度与导航时间两个维度上选择性使用几何信息

    该工作提出 AdaGeoVLN 流式视觉语言导航框架,将 VGGT 几何基础模型在深度 11、17、23 的中间表示分别耦合到 Qwen3.5-4B 的前三个解码层,并按指令相关性、几何置信度与转移新颖度在固定预算下保留历史 VGGT 全局注意力 KV 状态,在 R2R-CE 与 RxR-CE Val-Unseen 上仅用单路 RGB 流、不额外使用导航专用外部数据即取得 55.7%/51.4% 与 54.1%/44.7% 的 SR/SPL,消融显示多深度耦合显著优于在相同融合位置重复注入末端特征,且受限的导航感知保留在降低 GFM-KV 内存的同时保持导航性能。

已读完全部报道