长程智能体的信用该记在回合上：MPO把回合级优势与逐词修正分开，搜索任务pass@1最高提升4.33点
核心概要
长程LLM智能体按完整回合与环境交互，却逐词生成动作，现有强化学习要么给整条轨迹一个共享优势，要么把每个词当作动作。MPO把信用分配拆成两层：回合级广义优势估计在交互之间传递信用，回合内再做保均值的局部修正，策略更新则用完整回合的重要性比率。在搜索、工具使用和自动化任务上，Qwen3-4B-Thinking与Qwen3-30B-A3B-Instruct两个规模下，MPO在九个指标上均取得表中最高分，其中4B的BrowseComp-Plus pass@1比最强非MPO基线高4.33点。
深度剖析
长程智能体的策略优化现在可以同时按回合和按词两个尺度组织：跨回合传递任务信用，回合内再区分各个词的贡献。 此前的无评论家、组相对方法（如GRPO、DAPO、GSPO）从组相对结果奖励中为每条生成序列导出一个共享优势，不区分单个回合或词；基于评论家的词级方法（如PPO、VAPO、SAO）把每个生成的词当作动作，信用更细，却不显式区分回合内生成与回合级环境交互。 在一次搜索智能体运行的八个检查点批次、2048条轨迹和16323个回合上，回合均值之间的差异占评论家词加权轨迹内价值方差的中位数89.5%，且93.8%的轨迹中回合间方差超过回合内方差。
MPO用多尺度优势估计（MAE）先沿回合轴传播信用，再把信用分配到回合内的词上。 MAE的回合级部分在回合边界上做广义优势估计，使共享信用每经过一次交互衰减一次，而不是每生成一个词衰减一次；回合内部分用一条只限当前回合的局部轨迹做中心化最小二乘投影，保持回合均值不变。 策略更新使用完整回合的重要性比率，并通过停止梯度让每个词的MAE优势保留在自己的得分梯度中；在搜索、Claw-Eval和Automation Bench上，4B与30B-A3B两个模型规模均与GRPO、GSPO、PPO、VAPO、SAO比较。
把回合级重要性比率换回词级比率会降低所有报告分数，说明两层对齐各自有贡献。 保留MAE但改用词级重要性比率的变体，在4B上BrowseComp-Plus、GAIA、HLE的pass@1分别下降2.36、3.12、1.03点，在30B-A3B上分别下降2.05、2.19、0.58点。 该变体在搜索任务的六项指标上仍优于PPO，说明多尺度信用分配本身带来增益，完整回合的重要性修正在此基础上进一步提高。
启示与展望
演示范围是Qwen3-4B-Thinking与Qwen3-30B-A3B-Instruct在搜索（BrowseComp-Plus、GAIA、HLE）、Claw-Eval和Automation Bench上的独立训练，搜索训练300步、Claw-Eval 300步、Automation Bench 200步；每个训练运行选取最佳检查点，离线评估五次取均值。
评论家解释方差在MPO下更高，但该指标在各策略自己的 rollout 上测量并受回报方差影响，不能隔离出评论家精度的因果提升；消融中每个设置只有一次训练运行，且Claw与Automation的训练数据为内部数据、细节未披露。