跳到主要内容
检索

# 相机控制视频生成

4 篇关联报道

订阅更新
  1. arXiv

    视频注意力常把不同景物认成同一处:GAD用几何模型注意力做蒸馏,Wan2.2 5B跨帧匹配率至少提升30%

    视频扩散模型在镜头移动或物体运动时容易丢失场景几何,原因是跨帧注意力常把响应分散到多个区域,无法稳定指向同一景物。GAD把冻结的几何基础模型VGGT-在干净视频上的注意力提取为对应关系目标,并按噪声时间步把监督路由到场景结构正在形成的层,用成对与跨轨两种监督训练视频注意力。在RealEstate10K与DL3DV-10K的15秒长程生成上,Wan2.2 5B加入GAD后跨帧匹配命中率在两个数据集上均至少相对提升30%,且推理时不增加额外模块或计算。

  2. arXiv

    动态世界模型不再逐帧重渲染:把静态与动态内容存进4D潜缓存,条件获取耗时占比从14.9%降到0.25%

    动态世界建模中,同一批观测要为不同时刻和视角的多次生成提供条件,此前每次请求都要把重建场景渲染成RGB再重新编码。4LC把多个视觉编码器提取的静态与动态内容表示绑定到共享的几何与运动上,做成可按任意时刻和视角直接读取的4D潜缓存,省去逐请求的渲染与重编码。在相同生成设置下,条件获取占端到端生成时间的比例从NeoVerse的14.9%降到0.25%,单个4LC-Video模型无需任务特定微调即可覆盖相机控制、时间控制、新视角合成、场景重访和长期生成五类任务。

  3. arXiv

    LIFT 用最后一帧布局加相机轨迹控制视频生成,mIoU 从 0.41 提升到 0.51

    LIFT 提出一个统一的图生视频框架,在相机轨迹控制之外增加“未来布局”(Layout-In-FuTure)控制,让用户用最后一帧的物体布局指定新视角下应出现什么、出现在哪里;它通过双模式在线自蒸馏(OPSD)把稠密逐帧布局教师的能力迁移到仅用最后一帧布局的学生,并构建了面向大视角变化的 LIFT-Vista 数据集,实验显示其在视频质量、未来布局可控性和相机可控性上优于对比方法。

  4. arXiv

    GEAR 把几何当作记忆地址:用稀疏对应注意力把 ATE 降低 80.3%,实现分钟级相机可控视频生成

    该工作提出 GEAR 框架,不再把历史观测融合成持久全局 3D 表示,而是用逐帧几何建立 token 级历史—目标对应,把几何当作视觉记忆的显式地址,再由 Geometric Correspondence Attention 只对几何匹配的历史特征做稀疏注意力注入,并用 Invisible Octree 剔除可投影但被遮挡的对应;在 DL3DV-Evaluation 与 WorldScore-Static 上报告了最优的视觉质量、相机控制与重访一致性,支持分钟级长时程生成。

已读完全部报道