智能体训练不再只看最终成败:STEP-VERIFIER用日志里的前缀分叉给每一步打分
工具调用型语言模型智能体往往要经过几十步交互才拿到一个成功或失败的最终标签,中间哪一步出错无从区分。STEP-VERIFIER把已记录的成功标注交互日志转成动作级比较:同一前缀下两条后续轨迹的平均最终回报之差,构成一对动作的优劣标签,再由Bradley-Terry排序头转成可校准的逐步分数。在Llama-3.1-8B-Instruct与Mistral-7B-Instruct两个骨干上,它在GAIA、ToolBench、AgentBoard的六组基准—骨干组合中平均指标均高于仅用最终分数的GRPO,且逐步分数与人工判断的一致率为81.5%。