History Forcing 让少步视频模型记住久远历史：1.3B 学生 60 秒 VBench-Long 达 79.82
核心概要
少步自回归视频扩散模型在长推演中会逐渐丢失主体与场景信息，现有蒸馏目标没有把久远历史单独作为约束。History Forcing 用同一自回归教师在有、无额外历史两种条件下的预测之差构造上下文残差，加权后修正 DMD 或 OPSD 的蒸馏目标。1.3B 学生模型在 15 秒生成上取得 VBench 质量分 85.07，在 60 秒生成上取得 VBench-Long 综合分 79.82，并在相机离开再返回的评测中把 PlayWorld 演化质量从 2.35 提到 2.70。
深度剖析
长视频生成中，主体外观和场景结构会随自回归推演逐步漂移；相机移开再返回时，近期帧已不含被遮挡对象的信息，模型容易改变甚至丢失该对象。 此前的 DMD 蒸馏用双向扩散教师提供视觉质量监督，但不显式纳入久远历史；直接蒸馏带历史条件的自回归教师，又会把历史一致性与视觉质量绑在一起，受教师画质短板牵制。 在 15 秒 VBench 上，加入历史监督把质量分从 DMD 基线的 84.44 提到 84.82，主体一致性、背景一致性和动态程度同时上升；把自回归教师在 10 秒片段上微调后，质量分进一步到 85.07。
做法是让同一个自回归教师对同一块含噪学生片段做两次预测，两次输入只差一段额外历史，其余近期上下文保持一致。 两次预测的分数之差即上下文残差，它只携带历史带来的影响，再乘以权重 λ 加到双向教师的参考分数上，形成修正后的蒸馏目标。 长视频生成中，额外历史取学生自身推演中紧邻共享近期上下文的 12 个潜帧，共享近期上下文为最近 6 帧；世界模型任务中，额外历史改由固定机位教师推演提供，学生按预设轨迹移动。
修正后的目标可以直接并入 DMD 和在线自蒸馏 OPSD，不需要改动原有的假分数模型或 DMD 权重。 在 60 秒 VBench-Long 上，1.3B 学生配合 1.3B DMD 教师取得 79.82 的综合分，高于使用 14B 教师的 Rolling Forcing 的 79.22 和 LongLive 的 79.12，并接近 5B 的 LongLive-2.0 的 79.90。 这些 60 秒结果来自最长 15 秒的学生训练推演；在 PlayWorld Out-of-sight 子集上，演化质量从基线的 2.35 升到 2.70，MemoBench Real 子集上物体一致性从 58.43 升到 62.18。
启示与展望
演示范围限于 1.3B 教师与学生的长视频生成，以及 5B DreamX-World 骨干的出视野世界建模；世界模型训练集为 Pexels 的 200 张初始场景图配 4 条离开并返回初始视角的相机轨迹，共 800 个样本。读者对象是从事自回归视频扩散蒸馏与世界模型训练的研究人员和工程师。
历史监督的效果受底层模型刻画时序动态能力的限制；世界建模中，固定机位教师推演本身的场景演化有限，会削弱对出视野状态变化的监督。定性示例中仍残留部分外观与场景漂移。作者提出未来探索更大的教师与学生、更长上下文训练，以及改进世界模型对物理合理动态的模拟。