决策模型当不好行动者也能当老师：JEV 用整条轨迹打分，把 1.5B 策略成功率从 72.8% 提到 82.9%
核心概要
决策模型通常按“会不会行动”来评价，但同一批模型在 ALFWorld 上作为行动者时会被更容易的子目标带偏。把 JEV 改作教师，在回合结束后看完整轨迹、逐个问“这个动作是否有助于达成目标”，它给出的分数加进 GRPO 后，Qwen2.5-1.5B 策略在 ALFWorld 上的成功率从 72.8% 升到 82.9%，在 WebShop 上从 56.8% 升到 71.4%；而 JEV 自己作为行动者只完成 42.9% 的 ALFWorld 任务。
深度剖析
决策模型的价值不只在它能否自己选对动作，还在于它能否在事后给已执行的动作打分，并把这些分数当作训练信号。 此前对这类模型的研究主要把它们当作行动者，用行动成功率衡量其用处；作为行动者，六个受测模型在必须先完成某个子目标的任务上都会被更容易的子目标拉走。 在 ALFWorld 上，JEV 作为行动者只完成 42.9% 的任务，在有两个独立子目标的任务上完成 70.8%，而在子目标有先后顺序的任务上只完成 14.7%。
把 JEV 当作教师，用它对每个动作的评分补充 GRPO 的结果奖励，可以提升小策略的成功率。 只用结果奖励训练时，同一条轨迹里每个动作拿到相同的信用，分不出哪一步真正推动了任务。 Qwen2.5-1.5B 策略在 ALFWorld 上从 72.8% 升到 82.9%，在 WebShop 上从 56.8% 升到 71.4%；同样用 JEV 但改问“任务之后会不会成功”时，ALFWorld 上只到 69.3%。
教师分数是否有用，取决于问法和可见上下文：要问单个动作的贡献，并且让模型看到整条轨迹。 只看到动作之前的轨迹前缀时，两种问法的训练效果相近；看到完整轨迹后，问法才拉开差距。 在 462 条 ALFWorld 轨迹上，问“这个动作是否有帮助”时，里程碑动作比空转动作的得分高 0.36，而问“任务会不会成功”时只高 0.05。
启示与展望
结论建立在 ALFWorld 和 WebShop 两个文本环境上，回合长度最多 30 个动作，教师 JEV 在训练期间保持冻结、测试时不再调用。作者把软件工程、工具使用和助手类更长轨迹的任务列为待验证的开放问题。
JEV 和 GPT Decisions 是闭源模型，其适配过程未公开，因此无法判断哪些训练选择使一个决策模型成为好的评判者。评判只在回合结束后进行，在线过滤或重排动作时只有前缀可见，这一设定尚未覆盖。