智能体不再只靠标量奖励学习：ACE-RL让反思与笔记也进入训练，四次基准留出奖励均居首
核心概要
智能体强化学习通常只把一次尝试压缩成一个标量奖励，环境里暴露的错误日志和工具输出随之丢失；ACE-RL把模型写出的反思和任务笔记也纳入训练，用执行候选笔记后的新一次尝试得分来评价它。在Mastermind、MBPP、AppWorld和MiniSWEBench四个基准上，同等训练算力下ACE-RL的留出奖励高于仅训练执行者的GRPO、ERL以及用学习评论家端到端训练的延迟联合PPO。
深度剖析
智能体训练不再只优化当前这一次尝试的动作，模型写出的、将被后续尝试继承的经验文本也成了训练对象。 此前的两条路各缺一半：标量奖励强化学习只把整次尝试压成一个数，丢掉了错误日志、工具输出和发现的约束；而ACE这类固定脚手架虽然把反思和笔记传给下一次尝试，写这些文本的调用从未被训练。 在Mastermind、MBPP、AppWorld和MiniSWEBench四个基准上，同等训练算力下ACE-RL的留出奖励在四者中最高，高于仅训练执行者的GRPO、ERL，以及用学习评论家端到端训练的延迟联合PPO。
做法是固定ACE脚手架，让同一个模型分别扮演执行者、反思者和笔记编辑者，并用候选笔记实际带来的下一次尝试得分给它们打分。 候选笔记被交给一次全新的执行者尝试，由任务验证器直接读出奖励，不需要学习奖励模型；每个角色只与同一输入下的其他输出比较，反思与同一轨迹的其他反思比，编辑与同一反思的其他编辑比。 训练用Qwen3-0.6B跑Mastermind和MBPP，用Qwen3-4B-Instruct-2507跑AppWorld和MiniSWEBench，每个任务8次执行者采样，其中4次为种子尝试、其余用于给候选笔记打分。
增益来自笔记本身，而不只是执行者被训练得更好。 把每次访问的笔记编辑全部丢弃、让每次尝试都读空笔记后，同一检查点的表现下降。 在训练视野内，应用编辑在四个基准的K=2和K=3上都提高了RSI@K，AppWorld在K=2时提高0.105±0.041，MiniSWEBench在K=3时提高0.090±0.040。
启示与展望
结论建立在四个基准上：Mastermind、MBPP、AppWorld和MiniSWEBench，模型规模不超过4B参数，每种方法只训练一次，比较均在同等训练算力下进行。笔记是任务局部的，每次尝试都从新环境开始，跨任务的经验迁移不在考察范围内。
延迟联合PPO在四个基准上都低于ACE-RL，且测试奖励早期见顶后下降，但其评论家的解释方差在每次训练后期仍高于0.95，因此评论家拟合不佳不能解释这一下降；作者表示不能据此断定基于评论家的信用分配无法训练交接。AppWorld上丢弃编辑的对照只在超出其算力预算后评估，MBPP所用环境的反馈会显示被计分的断言，前沿规模下同一配方是否必要或充分仍是开放问题。