视频注意力常把不同景物认成同一处：GAD用几何模型注意力做蒸馏，Wan2.2 5B跨帧匹配率至少提升30%
核心概要
视频扩散模型在镜头移动或物体运动时容易丢失场景几何，原因是跨帧注意力常把响应分散到多个区域，无法稳定指向同一景物。GAD把冻结的几何基础模型VGGT-在干净视频上的注意力提取为对应关系目标，并按噪声时间步把监督路由到场景结构正在形成的层，用成对与跨轨两种监督训练视频注意力。在RealEstate10K与DL3DV-10K的15秒长程生成上，Wan2.2 5B加入GAD后跨帧匹配命中率在两个数据集上均至少相对提升30%，且推理时不增加额外模块或计算。
深度剖析
视频扩散模型生成的画面在时间上连贯，却难以在镜头移动和物体运动过程中保持场景几何与物体结构；跨帧注意力往往把响应散布到外观或语义相近的多个区域，即使画面中已能看出场景结构。 相机感知位置编码、显式几何条件、历史条件生成和几何特征对齐等既有做法改善了帧间信息保留与交换，但并不能保证注意力把同一景物在不同帧中的观测关联起来。 对视频模型注意力在噪声水平与网络深度上的可视化显示，注意力响应在结构形成之后仍可能分散在竞争区域；而探测VGGT-发现，其部分层与头的注意力在视角变化下仍集中在同一栏杆位置，并跟随移动人物的帽子。
GAD在训练时把几何模型的跨帧对应关系蒸馏进视频模型的注意力，使注意力在场景结构形成阶段就指向几何上对应的区域。 做法是从冻结的VGGT-教师注意力中提取对应目标，用源 token 分配给目标帧的总注意力质量作为可靠性权重，并对目标位置做高斯平滑以容忍小的定位误差。 监督层按噪声时间步路由：低噪声用第5层、中噪声用第15层、高噪声用第25层；成对监督在帧对内做空间区分，跨轨监督把一个源 token 匹配到多个目标帧以扩展时间覆盖，两者与原始流匹配损失联合优化。
在三个视频骨干上，GAD同时改善了长程场景一致性与动态视频的时间一致性，并保持原有推理流程。 与在同一训练数据上仅用流匹配目标微调的Wan基线相比，GAD在RealEstate10K和DL3DV-10K上改善了跨视角匹配与相机精度，同时FID、FVD和CLIP也更优。 在Wan2.2 5B上，跨帧匹配命中率在两个长程基准上均至少相对提升30%；在Wan2.1 14B上，GAD在两个数据集的全部七项指标上取得所评估方法中的最好结果，推理时峰值显存不变、运行时间差异与逐次运行波动相当。
启示与展望
评估限定在相机控制的视频生成：RealEstate10K与DL3DV-10K上的15秒长程场景，以及OmniWorld-Game上的5秒动态场景，并分别应用于Wan2.1 1.3B、Wan2.2 5B和Wan2.1 14B三个骨干。训练语料为三个数据集共35K个片段，训练与测试按场景划分。
对应目标的质量取决于VGGT-教师的匹配能力与空间分辨率，在歧义外观、遮挡和运动物体上可能不够准确；当前层路由只依赖噪声时间步并在整个训练中固定，而随训练推进最受益的层可能变化。方法目前在Wan的双向视频模型上验证，自回归生成尚未评估。