搜索智能体不再只奖励最终答案：过程监督让检索召回更高，跨域与跨模型都更稳
核心概要
面向多跳信息检索的搜索智能体，训练信号从只看最终答案正确与否，改为对每一步搜索动作打分。RAG-Gym把搜索建模为马尔可夫决策过程，并比较架构、参数优化与动作评估三个维度，选出推理反思架构、偏好优化与评论家引导推理的组合，构成Re2Search++。在HotpotQA上训练后，它在未见过的Bamboogle上优于结果监督基线，检索召回更高且搜索步数相当或更少；在Llama-3.1-8B上训练的评论家还能提升GPT-4o-mini的MedQA准确率。
深度剖析
搜索智能体的训练信号从最终答案的正确性，转到对中间搜索动作的逐步评价，使智能体在训练域之外也能保持检索行为。 此前主流做法是结果监督，只在最终答案正确时给奖励，智能体容易靠参数记忆猜答案，并用表面搜索满足训练目标。 在HotpotQA上训练、在未参与训练的Bamboogle上评测时，过程监督的Re2Search++优于结果监督的Search-R1与R1-Searcher，并在各自训练域任务上保持相当或更好表现。
智能体每一步先写出推理链，再检查其中哪条断言没有被已检索证据支持，并把第一个缺口变成下一次查询。 ReAct与Search-o1按主题联想直接发查询，缺少针对答案推理的显式核查环节。 在HotpotQA、2WikiMultihopQA、Bamboogle与MedQA四个知识密集基准上，含推理反思模块的Re2Search在零样本到PPO的各训练设置下均取得最高表现。
过程监督的收益主要来自更高质量的查询，而不是对答案的额外优化。 结果监督智能体的正确答案常来自未落地的预测，检索召回偏低。 在Llama-3.1与Qwen-2.5两个骨干上，Re2Search++对标准答案支撑文档的召回率最高，同时搜索查询数与基线相当或更少。
在小开源模型轨迹上训练的评论家可以指导另一家族的模型推理，无需访问其权重。 评论家此前通常与特定骨干绑定。 仅在Llama-3.1-8B轨迹上训练的评论家，把GPT-4o-mini在MedQA上的准确率从76.8%提升到78.1%。
启示与展望
演示范围限于四个知识密集问答基准：三个基于维基百科的多跳数据集与一个医学多选题数据集，检索语料与检索超参数在各智能体间固定。作者把扩展到开放式搜索任务、其他领域与检索环境，以及工具使用和规划等更广的智能体任务列为后续方向。
过程监督依赖高质量奖励信号，基于蒙特卡洛展开的奖励在检索场景中会因答案偶然正确而产生假阳性，因此更强的模型标注更有效，但可能引入额外偏差与成本。三个设计维度只考察了代表性而非穷尽的候选集合，评论家引导的Best-of-N推理也增加计算开销。