文生视频联合后训练不再共用一份奖励:提示与生成器分开记功,LTX-2.5上组合指标从61.47升到64.46
核心概要
FlowCred把文生视频联合后训练里的同一份终端奖励拆成提示级信用与生成器残差,并在LTX-2.5上把严格匹配的联合训练对照从61.47提升到64.46(T2V-CompBench),且不增加解码视频或奖励模型调用预算。
深度剖析
文生视频系统现在同时训练两个可调通道:语言侧的提示策略和视频生成器本身。此前提示侧方法只改条件、生成器固定,生成器后训练只改扩散或流模型,近期系统把两者放在同一份终端奖励下联合优化。 一旦两个模块都可训练,同一个标量奖励必须同时承担归因和协调两种角色,而此前单侧更新时它只作为那一个模块的监督信号。 在LTX-2.5、Qwen3.5-9B提示优化器和Flow-GRPO的同一套评测框架下,严格匹配的联合训练对照Matched Global-LOO在T2V-CompBench上为61.47、StoryEval为55.58,FlowCred完整版为64.46和58.08。
分层信用分配用匹配的提示-种子 rollout 网格,把提示选择带来的奖励变化与提示固定后生成器随机性带来的残差分开。 此前的全局留一法只去掉当前轨迹,仍把提示之间的差异混进生成器优势;分层信用改为让生成器优势成为提示条件下的残差。 在固定解码视频预算下,生成器优势方差降低约31%,匹配种子使提示信用方差降低约27%,匹配种子消融在T2V-CompBench上得到62.63,而独立采样种子为62.21。
功能协调在实际生成轨迹遇到的状态上探测当前策略的替代提示,用同一状态的响应几何同时做生成器感知的提示塑形和可靠性门控的生成器路由。 统计信用分开后,提示改变仍可能与生成器奖励步朝同一方向做重复的局部改进;协调针对的正是这部分重叠。 三组独立训练运行中,提示塑形单独带来VBench/StoryEval/T2V-CompBench的+0.29/+0.65/+0.77,生成器路由单独带来+0.38/+0.47/+1.04,两者合用为+0.65/+1.37/+1.83。
启示与展望
演示范围是LTX-2.5加Qwen3.5-9B提示优化器与Flow-GRPO的在线联合奖励后训练,训练池为8000条请求,评测使用VBench、VBench-2.0、T2V-CompBench和StoryEval,并保持解码视频与奖励模型调用预算不变。功能协调需要后端提供两样东西:固定状态下改变文本条件得到的响应向量,以及生成器更新器给出的局部改进余向量;Flow-GRPO、RVM和可微奖励流都直接提供这两者。只暴露轨迹级偏好更新、没有局部改进余向量的目标,以及仅提供封闭API的生成器,不在当前表述范围内。
功能协调是局部一阶的,其提示项是辅助塑形,生成器规则是最小重叠正则化,并非梯度质量的守恒转移。实现更新审计被描述为对训练行为的描述性一致性检查,而不是因果责任的精确转移。三组外层重复的区间按描述性使用,未作更强的显著性声明。跨骨干与更新器的增量在每种设置下都为正,但幅度有变化。
