视频流模型对齐不再二选一：引导只留在采样端，无引导推理也保住奖励增益
核心概要
视频流模型做奖励对齐时，把引导采样与优化锚点拆开，让无引导单分支推理也能拿到引导探索的收益，同时保留推理时引导的原有语义。
深度剖析
视频流模型的奖励对齐把采样分布和优化锚点分开：引导只用于生成 rollout，回归目标仍锚在无引导的条件速度场上。 此前的回归式对齐要求采样与锚点共用同一个速度场，因此 rollout 必须无引导；一旦改用引导 rollout 又把目标锚在引导场上，训练会发散。 在 Wan2.1-1.3B 与 14B 上按相同 GPU 小时比较，无引导采样在冷启动阶段落后且恢复后未能追平，锚在引导场的变体从第一个检查点起就下降并在约 300 GPU 小时前发散。
这样训练出的策略在推理时只需单分支前向，条件与无条件速度场之差只按优势有界的增量变化。 引导蒸馏把引导场直接回归进网络，从而放弃推理时引导；这里引导偏移在期望中被中心化优势抵消，条件与无条件之差不再被逐轮放大。 在 Wan2.1-1.3B 上以 HPSv3 奖励训练，无引导推理下策略在约 400 GPU 小时超过 Flash-GRPO 并收敛到更高奖励，开启引导后进一步提升，而策略梯度基线基本不变。
每个 rollout 独立抽一个训练时间步做监督，同一提示组内可以覆盖多个时间步。 单步方案把训练时间步绑在采样离散化上，或在组内共享同一个时间步。 在 Wan2.1-1.3B 上，独立时间步在本文目标下优于组内共享时间步，而在 GRPO 目标下反而更差，说明这一自由度依赖逐点回归目标。
启示与展望
报告覆盖的是 Wan2.1-1.3B 与 14B 上的文本到视频对齐，训练用 DanceGRPO 的提示集，评测用 Flash-GRPO 的 300 条提示划分，VBench 与运动质量只在 1.3B 上报告。方法面向需要在线奖励对齐的视频流模型研究者与工程师，推理侧同时支持无引导单分支与开启引导两种模式。原文把整合离策略或分布外终端数据列为后续方向。
优化受限于基座模型自身的生成能力，基座根本无法渲染的提示无论引导尺度多大都得不到有信息量的奖励梯度。组大小的取舍是非单调的：较小值估计过粗而提前饱和，较大值每次更新更准但在相同 GPU 小时内完成的更新次数太少。原文指出，锚点不变性在数学上允许任意行为分布，但当前只使用来自 EMA 骨干的引导 rollout。