智能体训练不再只看最终成败：STEP-VERIFIER用日志里的前缀分叉给每一步打分
核心概要
工具调用型语言模型智能体往往要经过几十步交互才拿到一个成功或失败的最终标签，中间哪一步出错无从区分。STEP-VERIFIER把已记录的成功标注交互日志转成动作级比较：同一前缀下两条后续轨迹的平均最终回报之差，构成一对动作的优劣标签，再由Bradley-Terry排序头转成可校准的逐步分数。在Llama-3.1-8B-Instruct与Mistral-7B-Instruct两个骨干上，它在GAIA、ToolBench、AgentBoard的六组基准—骨干组合中平均指标均高于仅用最终分数的GRPO，且逐步分数与人工判断的一致率为81.5%。
深度剖析
智能体的中间动作现在可以在回合结束前被单独打分，而不必等整条轨迹的成败标签。 此前的训练信号只说明整次尝试是否成功，因此第二步一次错误调用导致的失败与处处失败的回合对学习器无法区分。 在Llama-3.1-8B-Instruct上，GAIA平均准确率由GRPO的21.5%升到30.1%，ToolBench平均胜率由30.4%升到38.9%，AgentBoard成功率由24.8%升到35.4%。
打分器读取当前环境观测、候选动作和一段截断的近期交互，输出一个标量分数。 监督信号来自日志中共享同一前缀的两条分支，用各自后续轨迹的平均最终回报之差作为这一对动作的偏好标签，不依赖人工步骤标注，也不额外与环境交互。 Bradley-Terry排序头把成对比较转成分数差；在2000个抽样观测—动作对上，其成对判断与三名标注者的一致率为81.5%，高于轨迹级ORM的62.4%和二元步骤PRM的73.2%。
训练期间打分器先过滤低质量日志，再把逐步反馈按线性退火注入优势，退火到零后策略部署时不再调用它。 若反馈权重保持恒定，GAIA平均只有26.5%，低于完全不用密集反馈的28.3%，说明不退出会拖累训练后期。 默认设置在GAIA平均30.1%、ToolBench平均38.9%、AgentBoard成功率35.4%；最终策略单独评测与训练时数值一致，测试时加过滤变化不超过0.1个百分点。
启示与展望
演示范围是Llama-3.1-8B-Instruct与Mistral-7B-Instruct两个策略骨干，在GAIA、ToolBench、AgentBoard三个公开智能体基准上的训练与评测，验证器默认使用Llama-3.2-3B-Instruct并读取1024个token的交互窗口。
作者指出，价值差是记录策略后续轨迹的价值差，而非改进策略下的反事实差；有限支撑的对会产生噪声标签，其与总体最优的偏离随最小支撑增大而衰减。作者还指出，困难且少被访问的状态在日志中重复少，验证器恰在这些位置信息最少，并把针对不确定前缀的定向探索或跨任务迁移列为后续方向。