自回归视频生成不再让写上下文和去噪共用一套权重：5秒训练窗口撑起24小时连续生成
核心概要
自回归视频扩散模型里，把生成帧写成键值上下文和去噪当前帧这两件事原本共用同一套参数，SGF+改为给两者各自独立的参数，只保留因果注意力上的前向耦合，仍用原始生成目标联合训练。在VBench的5秒、60秒、240秒评测中，SGF+在分帧与分块两种生成方式下多数画质与长时一致性指标高于Self Forcing和Self Gradient Forcing；只用5秒片段训练，即可连续生成最长24小时而无需长视频微调。
深度剖析
自回归视频扩散模型在生成每一段视频时同时承担两个角色：去噪当前帧，以及把已生成帧编码成键值表示供后续预测读取。SGF+把这两个角色拆到两套独立参数上，让它们各自更新，同时通过因果注意力保持前向交互。 此前的Self Gradient Forcing已经让未来生成损失可以监督上下文的写入，但写入与去噪仍共用同一套参数，长序列上出现残余退化，少数生成视频的起始帧画质甚至低于Self Forcing。 在SGF训练中按角色拆分同一目标下的梯度贡献后，注意力与FFN两个模块族里两种角色的平均梯度方向夹角都超过90度，所测512对提示与去噪时间步的余弦相似度全部为负。
实现方式是给上下文写入器和去噪器各一套参数，两者都从同一个自回归扩散模型初始化，训练流程沿用SGF的两遍结构。 第一遍仍是无梯度的自回归采样，第二遍并行重建可微的键值路径，未来生成损失经由这条路径监督上下文写入，而不必反传整条采样轨迹。 训练用Wan2.1-T2V-1.3B因果视频扩散学生、冻结的Wan2.1-T2V-14B教师和一个单独训练的假分数网络，数据为VidProM过滤扩展提示上的5秒视频窗口；60秒与240秒评测分别使用VBench-Long提示和128条MovieGen提示。
参数分离带来画质与长时一致性的提升，代价是参数与显存增加，而单步计算量基本不变。 生成器参数从1.4B翻倍到2.8B，但每个token在一次前向中只走自己角色的参数，因此计算量不翻倍。 在81帧负载下推理时间从4.962秒变为4.969秒，显存从24.85GB升到27.96GB；训练峰值显存从97.83GB升到98.15GB，稳定显存从70.06GB升到73.60GB，每步训练时间从11.79秒升到12.76秒，约增加8.2%。
启示与展望
报道覆盖的是自回归视频扩散中上下文写入与去噪的参数共享问题，评测限于VBench在5秒、60秒、240秒生成跨度上的画质与一致性指标，以及分帧和分块两种生成方式。适用读者是从事视频生成、流式推理和世界模型训练的工程与研究人员。原文把角色专属参数化与历史构建、上下文管理视为机制上互补的方向，并把模型合并等协调不同角色优化的做法列为未来工作。
动态程度是主要例外，Self Forcing或Self Gradient Forcing在该指标上更高；原文指出场景跳变、物体形变、主体消失或额外人物出现会制造大而不连贯的表观运动，从而抬高该指标，因此SGF+较低的值不代表生成质量更差。只分离注意力或只分离FFN的部分分离变体在多数画质与一致性指标上都不及完整模型。原文还说明，小批量下的负对齐结论要求聚合梯度满足该条件，单样本或选定模块的负对齐不足以确立这一条件。