跳到主要内容
检索

# 视频扩散模型

9 篇关联报道

订阅更新
  1. arXiv

    一张正面照片重建三维植株:Plant Orbiter 用视频扩散绕植物转一圈,株高误差均值5.9%

    植物三维数字化通常要几十到上百张标定照片,或依赖昂贵的激光扫描与机械臂拍摄,单图生成方法又难以把重建结果对齐回原图。Plant Orbiter 用视频扩散模型从一张正面照片合成一段绕植物旋转的轨道视频,再以已知相机路径直接拟合三维高斯泼溅,省去用运动恢复结构求相机位姿这一步。在 PlantDreamer、Botany-Bot 与 PLANesT 等数据集上,其三维 F-score 在全部测试数据集上领先对比方法,单图输入对齐下的 IoU 在 PlantDreamer 与 Botany-Bot 上分别为 0.552 和 0.556;在 GrowSplat 时序数据上测株高,平均绝对百分比误差为 5.9%。

  2. arXiv

    视频注意力常把不同景物认成同一处:GAD用几何模型注意力做蒸馏,Wan2.2 5B跨帧匹配率至少提升30%

    视频扩散模型在镜头移动或物体运动时容易丢失场景几何,原因是跨帧注意力常把响应分散到多个区域,无法稳定指向同一景物。GAD把冻结的几何基础模型VGGT-在干净视频上的注意力提取为对应关系目标,并按噪声时间步把监督路由到场景结构正在形成的层,用成对与跨轨两种监督训练视频注意力。在RealEstate10K与DL3DV-10K的15秒长程生成上,Wan2.2 5B加入GAD后跨帧匹配命中率在两个数据集上均至少相对提升30%,且推理时不增加额外模块或计算。

  3. arXiv

    长视频生成不再随时间遗忘:Smart 用相机位姿寻址固定容量槽记忆,训练视野外仍能找回旧场景

    长视频生成长期在两种记忆之间取舍:显式几何缓存能按位置找回旧画面,但存储随场景增长;循环记忆容量固定,却让旧观测随时间衰减。Smart 把固定容量的槽记忆改为由相机位姿寻址,写入和读取都按“在哪里看到”而非“多久以前看到”进行,并让扩散生成器依据记忆给出的置信度决定信任程度。在 Memory Maze 与 Minecraft 的长轨迹上,它在训练视野之外仍保持高保真回忆,且内存与单步开销恒定。

  4. arXiv

    动态世界模型不再逐帧重渲染:把静态与动态内容存进4D潜缓存,条件获取耗时占比从14.9%降到0.25%

    动态世界建模中,同一批观测要为不同时刻和视角的多次生成提供条件,此前每次请求都要把重建场景渲染成RGB再重新编码。4LC把多个视觉编码器提取的静态与动态内容表示绑定到共享的几何与运动上,做成可按任意时刻和视角直接读取的4D潜缓存,省去逐请求的渲染与重编码。在相同生成设置下,条件获取占端到端生成时间的比例从NeoVerse的14.9%降到0.25%,单个4LC-Video模型无需任务特定微调即可覆盖相机控制、时间控制、新视角合成、场景重访和长期生成五类任务。

  5. arXiv

    绿幕合成不再需要对齐背景板:给一到三张不对齐参考图,前景表演与背景一起生成

    FreeCHROMA把绿幕合成改成从一到三张不对齐背景参考图直接生成:前景的身份、动作和细节保留,背景与光照在同一生成过程中合成,不再需要预先对齐的背景板或单独的重打光步骤。

  6. arXiv

    机器人起飞前先“想象”走廊:视频扩散生成虚拟视角,RRT在重建障碍图上另找可行路径

    单张RGB图像加一句任务描述,视频扩散模型生成虚拟相机视角,ORB-SLAM3与稠密深度对齐后重建出可规划的三维空间;19场景中可规划场景从P20的13/19升到P81的15/19。

  7. arXiv

    冻结视频扩散模型Wan2.1的中间状态中可恢复运动信号,被解码为3D人体运动生成

    该工作探究冻结的大规模文本到视频扩散模型是否隐含可显式提取的3D人体运动知识,通过探测Wan2.1发现其整个去噪过程的中间状态均存在可恢复的运动信号,并提出寄生协同去噪范式及其实现Parasitic Motion Decoder(PMD)——一个共享宿主噪声调度、经σ自适应多层融合读取宿主中间特征的流匹配解码器,在不修改宿主的前提下以远少于专用运动生成器的可训练参数在文本-运动对齐上领先,并单次生成配对的视频与运动。

  8. arXiv

    SplitMoE把视频扩散模型的专家池拆成语义与通用两路,在14B激活参数下超过同源MoE并呈现由粗到细的去噪路由

    该工作指出语言模型式的token级MoE在视频扩散中会陷入“均匀性陷阱”——语义组织不足叠加均匀专家使用正则,使同一物体的相邻patch被分散到不同专家,造成路由碎片化与结构失真;为此提出SplitMoE,把专家池拆为语义专家与通用专家,用原型引导路由和pull-push正则让token按语义属性自然聚类,在激活参数预算相同时于VBench-2.0与T2V-CompBench上优于传统负载均衡MoE,并观察到语义专家权重在早期高噪声阶段(约第10–15步)达到峰值、随后转向通用专家的由粗到细去噪规律。

  9. arXiv

    SVEET 只训练双向视频扩散模型,就把编辑能力零样本迁移到流式骨干,单张 H100 上达到 15 FPS

    该工作提出 SVEET 框架,仅在预训练双向视频扩散模型上训练控制分支,通过时间独立的 2D 空间注意力控制分支与正交解耦训练(ODT)弥合双向与自回归特征空间差异,从而无需重训或蒸馏流式骨干即可实现高质量流式视频编辑,在单张 H100 GPU 上达到 15 FPS,并在风格迁移、视频修复与深度到视频生成三类任务上取得优于多个基线的评测结果。

已读完全部报道