# 经验交接强化学习

智能体强化学习通常只把一次尝试压缩成一个标量奖励，环境里暴露的错误日志和工具输出随之丢失；ACE-RL把模型写出的反思和任务笔记也纳入训练，用执行候选笔记后的新一次尝试得分来评价它。在Mastermind、MBPP、AppWorld和MiniSWEBench四个基准上，同等训练算力下ACE-RL的留出奖励高于仅训练执行者的GRPO、ERL以及用学习评论家端到端训练的延迟联合PPO。

智能体强化学习通常只把一次尝试压缩成一个标量奖励，环境里暴露的错误日志和工具输出随之丢失；ACE-RL把模型写出的反思和任务笔记也纳入训练，用执行候选笔记后的新一次尝试得分来评价它。在Mastermind、MBPP、AppWorld和MiniSWEBench四个基准上，同等训练算力下ACE-RL的留出奖励高于仅训练执行者的GRPO、ERL以及用学习评论家端到端训练的延迟联合PPO。