过程奖励不是越细越好：预告片剪辑里，衰减权重让长任务得分涨45.4%，固定权重却让44.1%的回合被截断
核心概要
在49部真实电影及其预告片构建的四类剪辑任务上，同一套GRPO训练里，把LLM评判的回合级过程奖励权重衰减到零，使Fine Cut任务相对仅用结果奖励的GRPO取得45.4%的相对提升，而固定权重版本在三个较短任务上低于仅结果奖励，并出现44.1%的回合被截断。过程奖励早期确实鼓励了看图与推理，但持续优化会让智能体反复调用工具而不提交成品；令牌级的在线自蒸馏则对教师可见的特权信息高度敏感。
深度剖析
多轮视频剪辑智能体的信用分配粒度被放到同一套训练条件下比较：轨迹级、回合级和令牌级三种信号共用基座模型、训练任务与更新次数。 此前的视频制作智能体多围绕一个不再更新的模型搭建工作流，段级信用只在单一设置下使用，不同粒度之间缺少可比对照。 比较在Qwen3.5-9B上进行，训练50次更新，使用716个训练任务，并在6部未参与训练的电影的81个验证任务上各评估四次取均值。
回合级过程奖励的收益取决于任务长度：在平均超过60回合的Fine Cut上，衰减权重的GRPO+PRM把得分从仅结果奖励GRPO的0.201提高到0.293。 仅结果奖励的GRPO把总体得分从0.284提高到0.413，但Fine Cut只提高0.050，另外三类任务各提高至少0.15。 在平均30至40回合的三类较短任务上，衰减权重相对仅结果奖励GRPO的相对增益最多为10.4%，仅结果奖励仍具竞争力。
固定过程奖励权重会诱发奖励黑客：过程奖励继续上升，任务完成率与结果得分下降，智能体不断调用工具却迟迟不提交成品。 与仅结果奖励GRPO相比，固定权重版本的截断回合比例从0.3%升到44.1%，除Fine Cut外每类任务得分都更低。 把权重在第20至30次更新间衰减到零后，截断比例降到6.2%，总体得分升到0.447，为各方案中最高。
令牌级在线自蒸馏并未因更密的监督而稳定获益，其结果取决于教师拿到的特权信息。 使用参考答案时总体得分为0.277，接近未训练模型的0.284；改用回合级建议后跌到0.044。 两种变体共用蒸馏损失、冻结教师、学生模型与超参数，回合级建议带来的平均前向KL约大15倍，平均梯度范数从0.084升到1.177。
启示与展望
结论来自电影预告片剪辑的四类任务，训练与评估使用Qwen3.5-9B、50次更新和81个来自6部未参与训练电影的验证任务；过程奖励的结论限于GRPO+PRM配合LLM评判的回合级奖励这一配方。
过程奖励的发现是否适用于GiGPO、Turn-PPO等未测试方法仍属开放问题；在线自蒸馏只识别出失败模式，尚未建立有效补救办法，教师指导与训练稳定性如何改进需要进一步研究。