多轮智能体的信用分配不再只看最终对错：回看低分回合再采样，七个问答基准上聚合精确匹配领先
导语
多轮LLM智能体的训练把探索和信用分配绑在同一套事后评分上：回看那些降低参考答案概率的回合、从同一父历史另采分支，再用逆权重把结果折算回原策略，在七个问答基准和三个Qwen骨干上取得最高聚合精确匹配。
正文
多轮智能体的中间决策现在按它对最终成败的贡献单独打分，而不是整条轨迹共用一个优势值。 此前的结果监督式组相对策略优化把同一个轨迹优势赋给每个生成token，成功轨迹会强化无用的回合，失败轨迹会惩罚有用的决策。 在Qwen2.5-3B上，TreeHCA的聚合精确匹配为44.9，高于链式方法HCAPO的44.3，也高于树式方法IGRPO的43.9。
做法是用参考答案的似然变化找出值得回看的回合，再从该回合的父历史重新采样替代分支，形成一棵共享前缀的推理与工具交互树。 此前的中间信用方法依赖策略生成的线性链中恰好含有信息量足够的替代选择，而在关键历史处这类替代往往稀疏。 在Qwen3-4B与Qwen3-8B上，多跳加权精确匹配相对AT2PO从47.62升到48.52、从48.41升到50.25，单跳从55.55升到56.38、从56.75升到58.75。
探索和信用分配共用同一个事后评分：引导采样的分数同时决定折算回原策略所需的逆权重。 按分数选择会让高分延续更常出现，因此它们的出现频率本身不能代表原策略分布。 组件对照中，事后探索配TreeHCA信用规则达到51.76精确匹配和65.88 F1，事后探索配AT2PO信用规则为49.60和62.74，熵探索配TreeHCA信用规则为51.17和64.17。
接下来
报告覆盖的是基于搜索的问答设置：七个基准、Qwen2.5-3B-Instruct与Qwen3-4B、Qwen3-8B三个骨干，智能体在推理与对维基百科索引的查询之间交替，每次查询取回前三段。训练时使用参考答案给候选打分，评测时智能体只用普通策略和搜索工具。Qwen3允许六次工具调用和6192个响应token，多跳训练在HotpotQA上250步，单跳在NQ上200步。
三个随机种子的多跳结果显示，单个基准上的标准差在4B为0到2.30分、在8B为0.36到4.53分，作者指出部分基准对训练种子更敏感。聚合增益超过TreeHCA自身运行波动的一个标准差，但这一判断只针对所报告的种子。在AT2PO信用规则下，熵探索反而优于事后探索，说明更换探索规则的效果取决于信用规则。自归一化在有限样本下是随机和之比，通常会引入偏差。