# 事后信用分配

决策模型通常按“会不会行动”来评价，但同一批模型在 ALFWorld 上作为行动者时会被更容易的子目标带偏。把 JEV 改作教师，在回合结束后看完整轨迹、逐个问“这个动作是否有助于达成目标”，它给出的分数加进 GRPO 后，Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 升到 82.9%，在 WebShop 上从 56.8% 升到 71.4%；而 JEV 自己作为行动者只完成 42.9% 的 ALFWorld 任务。

决策模型通常按“会不会行动”来评价，但同一批模型在 ALFWorld 上作为行动者时会被更容易的子目标带偏。把 JEV 改作教师，在回合结束后看完整轨迹、逐个问“这个动作是否有助于达成目标”，它给出的分数加进 GRPO 后，Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 升到 82.9%，在 WebShop 上从 56.8% 升到 71.4%；而 JEV 自己作为行动者只完成 42.9% 的 ALFWorld 任务。

多轮LLM智能体的训练把探索和信用分配绑在同一套事后评分上：回看那些降低参考答案概率的回合、从同一父历史另采分支，再用逆权重把结果折算回原策略，在七个问答基准和三个Qwen骨干上取得最高聚合精确匹配。

多轮LLM智能体的训练把探索和信用分配绑在同一套事后评分上：回看那些降低参考答案概率的回合、从同一父历史另采分支，再用逆权重把结果折算回原策略，在七个问答基准和三个Qwen骨干上取得最高聚合精确匹配。