长程智能体的信用该记在回合上：MPO把回合级优势与逐词修正分开，搜索任务pass@1最高提升4.33点
长程LLM智能体按完整回合与环境交互，却逐词生成动作，现有强化学习要么给整条轨迹一个共享优势，要么把每个词当作动作。MPO把信用分配拆成两层：回合级广义优势估计在交互之间传递信用，回合内再做保均值的局部修正，策略更新则用完整回合的重要性比率。在搜索、工具使用和自动化任务上，Qwen3-4B-Thinking与Qwen3-30B-A3B-Instruct两个规模下，MPO在九个指标上均取得表中最高分，其中4B的BrowseComp-Plus pass@1比最强非MPO基线高4.33点。