情绪视频生成不再靠固定奖励：EmoReward把上一轮训练的经验变成下一轮的权重
核心概要
情绪视频生成的质量没有唯一正确答案，固定融合视觉、运动和文本对齐奖励难以表达情绪意图。EmoReward把一次完整训练中收集的奖励轨迹整理成各情绪场景下各评分通道的可靠性，转成有上限的权重乘子，在下一轮训练中与当前视频的实例门控结合，且不更新任何奖励模型参数。在HunyuanVideo 1.5上配合DanceGRPO、FlowGRPO和SAGE-GRPO，VideoAlign Overall在三种算法下均提高，其中SAGE-GRPO配合EmoReward从-0.8269升至-0.2624。
深度剖析
情绪视频生成的强化学习后训练开始把奖励权重当作可跨训练轮次积累的经验，而不是每个场景都沿用同一套固定融合。 此前的视频GRPO方法通常对视觉质量、运动质量和文本对齐使用固定奖励，难以捕捉情绪意图，固定融合还可能把有效、缺失和饱和的信号混在一起。 在HunyuanVideo 1.5上，同一优化器内比较显示VideoAlign Overall在DanceGRPO配合Reflect时从-1.2812升至-0.9594，FlowGRPO配合EmoReward从-0.7719升至-0.5376，SAGE-GRPO配合EmoReward从-0.8269升至-0.2624。
系统先把情绪提示拆成可评估的线索，再按当前视频的证据有效性给各评分通道分配权重。 Plan把提示转成EmoScript，记录效价与唤醒目标、面部动作单元强度、身体线索和表情窗口；Act用七个融合通道分别打分，并把分数与证据是否可用分开记录。 Reflect按训练阶段、人脸置信度、语义冲突和细微程度生成实例级门控，在有效通道上重新归一化；缺失人脸通道的中性默认值通过有效性掩码被排除，不进入融合。
一次完整训练结束后，各评分通道与结果的一致性被压缩成有上限的乘子，供下一轮训练直接查表使用。 RewardMemory按情绪场景分组，用各通道原始分数与VideoAlign结果的相关性估计可靠性，再转成有上限的权重乘子，训练期间奖励模型参数保持不变。 在固定骨干和优化预算的七种奖励策略对照中，带RewardMemory的EmoReward取得最高可靠性选择性0.428，以及两个复合分数core 0.922和emo 0.884。
启示与展望
评估集中在情绪视频生成：HunyuanVideo 1.5配合DanceGRPO、FlowGRPO和SAGE-GRPO，在302条不与训练集重叠的情绪提示上取平均；图像迁移覆盖SD3.5与FLUX，人工评分由18名参与者对30条提示的三种方法打分。
可靠性被定义为通道分数与VideoAlign结果的一致性，而VideoAlign同时是优化目标，因此这种一致性不等于独立的情绪保真度；Macro通道与参考结果共享评估器信息。跨多代训练的持续改进未被评估，27组记忆超参数设置中只有末窗口在23组超过固定加权，且这些设置复用同一批轨迹，不是独立训练种子。