跳到主要内容
检索

# 长视频生成

4 篇关联报道

订阅更新
  1. arXiv

    History Forcing 让少步视频模型记住久远历史:1.3B 学生 60 秒 VBench-Long 达 79.82

    少步自回归视频扩散模型在长推演中会逐渐丢失主体与场景信息,现有蒸馏目标没有把久远历史单独作为约束。History Forcing 用同一自回归教师在有、无额外历史两种条件下的预测之差构造上下文残差,加权后修正 DMD 或 OPSD 的蒸馏目标。1.3B 学生模型在 15 秒生成上取得 VBench 质量分 85.07,在 60 秒生成上取得 VBench-Long 综合分 79.82,并在相机离开再返回的评测中把 PlayWorld 演化质量从 2.35 提到 2.70。

  2. arXiv

    SMI 用多模态大模型管理空间记忆,在长视频世界模型中同时改善记忆稀疏度、生成稳定性与空间一致性

    该工作提出 Spatial Memory Intelligence(SMI),首个系统性地用理解模型(多模态大语言模型)为长视频世界模型做空间记忆管理的框架,包含空间聚类、簇内稀疏化、动作感知检索与可靠性感知过滤四项协同原子操作;在多个基线、基准与世界模型骨干上的实验显示,SMI 在记忆稀疏度、生成稳定性与空间一致性上取得全面改进,并表现出有效性与泛化性。

  3. arXiv

    NVIDIA 把蒸馏做成可插拔 LoRA:一次训练后免训练部署到 54 个视频模型

    LongLive-Plug 提出一种“一次蒸馏、处处复用”的框架,在基座模型上把单次前向的 CFG、四步采样和长上下文纠错分别蒸馏成可复用的 LoRA,无需下游再训练即可插拔部署到三个骨干家族共 54 个下游视频模型,并在 SCOPE 与 Wan2.2-Fun-5B-Control 上取得优于朴素四步采样、接近逐任务蒸馏的效果。

  4. arXiv

    WorldAttention 用分层 KV 缓存与混合稀疏注意力把交互式视频世界模型推到单卡 H100 上 22 FPS,并在 VBench-Long 取得 0.9472 主体一致性

    该工作提出 WorldAttention,一种面向交互式视频世界模型的注意力架构,通过分层 KV 缓存(HKV)在 GPU、CPU、NVMe 多级内存间做页面级存储与两阶段检索,并用混合稀疏注意力(HSA)结合线性全局分支与头自适应块稀疏分支,在 VBench-Long 与 InterVBench 上取得主体一致性 0.9472 与 0.9668,同时实现相对 FlashAttention-3 的 14.02 倍稀疏核加速、整体 2.21 倍端到端加速,并在单张 NVIDIA H100 上维持 22.0 FPS。

已读完全部报道