智能体强化学习不再只给整条轨迹打分：ORSD用自生成评分细则，把信用分到每个词元
核心概要
在线评分细则自蒸馏（ORSD）让当前策略从同一组同策略轨迹的差异中自行生成自然语言过程评分细则，再由冻结验证器按细则满足度与任务成功的相关性选出一份，作为特权信息比较同一批词元在有无细则下的对数似然差，把轨迹级GRPO优势细化为词元级信用。在ALFWorld与WebShop上，Qwen3-1.7B和Qwen3-4B在相同环境交互预算下均取得所比较方法中最好的总体结果。
深度剖析
智能体强化学习里，一条轨迹中哪些中间决策该被强化、哪些该被抑制，现在可以按词元分别给出学习信号，而不必让整条轨迹共享同一个优势值。 在轨迹级GRPO下，一条轨迹内所有由策略生成的词元共享同一优势，有用动作、冗余步骤和可恢复的错误拿到相同的学习信号；GiGPO按环境状态分组估计步级优势，但每个动作内部的词元仍共享同一信号。 在ALFWorld上，ORSD的总体成功率比最强基线GRPO分别高出12.12和3.36个百分点（Qwen3-1.7B与Qwen3-4B）；在WebShop上，成功率分别比最强基线高出2.80个百分点（对GiGPO，Qwen3-1.7B）和10.90个百分点（对GRPO，Qwen3-4B）。
做法是把同一批轨迹用两次：先让策略从轨迹差异里写出过程评分细则，再用细则作为额外上下文重算同一批词元的似然，两次似然的差就是该词元的信用修正。 评分细则由当前策略在线生成，而不是人工撰写或由更强模型离线生成后固定不变；生成时不把结果奖励作为输入，以免细则退化成结果奖励的简单复述。 每个训练步对同一任务采样一组轨迹，策略独立生成四份候选细则包，每包5至8条准则；冻结验证器（经DashScope调用的Qwen3.5-Plus）逐条打分，取与组内结果奖励斯皮尔曼相关性最高的一包，重放不增加环境交互。
候选细则质量参差，因此用细则满足度与任务成功的排序一致性来挑选，而不是随机取一份。 去掉细则—奖励对齐、只生成单份细则直接使用时，WebShop成功率低于完整ORSD；候选数相同但改为随机选择时同样更低。 在WebShop上，完整ORSD相对单份细则变体在Qwen3-1.7B和Qwen3-4B上成功率分别高2.15和9.45个百分点；候选数固定时，对齐选择相对随机选择分别高3.40和7.15个百分点，得分相应高5.36和4.08分。
启示与展望
演示范围限于ALFWorld与WebShop两个长程交互基准上的Qwen3-1.7B和Qwen3-4B，训练使用四块A100 80GB、每步八个任务各八条轨迹、共300步，评估使用官方指标。
细则知识不会跨更新显式累积，每次只用当前轨迹组生成，没有保留此前发现的准则库；按结果相关性选细则有利于区分强弱轨迹，但并不直接优化细则对轨迹内部信用分配的用处。