多轮智能体训练不再只靠终局奖励：把重复出现的低分决策挑出来，ALFWorld 4B 成功率到 97.9%
核心概要
PEARL 把同一历史下两条不同结局分支的首次分歧变成可复用的决策记忆，只加强反复出现的低分决策的负优势，在 ALFWorld 4B 上把平均成功率做到 97.9%，比最强基线高 2.7 个百分点。
深度剖析
多轮智能体的训练信号不再只来自整条轨迹的终局奖励，而是可以落到具体某一步决策上。 此前的分组相对优势让同一条轨迹里的所有 token 共享同一个基于奖励的比较，无法指出长交互中哪些中间决策该调整；PPO 一类 actor–critic 方法能估计状态相关价值，但要额外训练一个 critic，本身也不提供局部对错的标签。 在 AppWorld 上，PEARL 在 4B 和 8B 两个规模、Normal 与 Challenge 两个任务上都超过其基础优化器 ARPO，4B 的 Normal/Challenge 分别提升 3.67 和 1.16 个百分点，8B 分别提升 4.56 和 1.40 个百分点。
它只加强那些反复出现在低分分支、且在成功分支里找不到对应支持的决策的负优势，正优势与底层策略优化器都不动。 做法是先用分支 rollout：从同一历史出发的两条续写若终局奖励不同，就定位它们第一个真正分歧的 token，并用后半段各层对所选 token 的 logit 拼成一个紧凑的决策特征，而不是用维度高得多的完整隐状态。 失败与成功特征分别进入两个记忆库，用 HDBSCAN 聚类，成功库以不对称的方式否决含糊的失败簇，滑动窗口只保留最近 25 次更新的条目；在 ALFWorld 4B 上平均成功率 97.9%，比最强基线 GiGPO 高 2.7 个百分点。
启示与展望
报告面向训练多轮语言智能体的研究人员与工程师，覆盖 AppWorld 的 Normal 与 Challenge 任务以及 ALFWorld 的 Seen 与 Unseen 任务，模型为 Qwen3-4B-Instruct-2507 与 Qwen3-8B，AppWorld 训练 400 次优化更新、ALFWorld 训练 300 次更新，主实验使用三个训练种子。方法以 ARPO 为底座，依赖其分支 rollout 提供同历史的配对比较；消融在 AppWorld 上用 Qwen3-4B-Instruct-2507 单次受控运行、在第 400 步评估。
被保留的模式只是定向更新的候选，并非内在错误动作的标签，其价值来自局部结局对比、重复出现与成功侧检验三者的结合。在 8B 规模上，PEARL 的 ALFWorld 平均 97.1% 高于 ARPO 1.7 个百分点，但低于 GiGPO 0.8 个百分点。无窗口限制时，失败库在更新 400 时有一个保留簇包含 1368 条失败条目中的 1200 条，而更新 100 和 300 时成功库过滤后没有保留的失败簇，说明库的大小本身并不保证能匹配当前决策。