跳到主要内容
返回时间线
arXiv来源发表:

长任务智能体把记忆写进普通文件:CAMP-II 五环境均分 64.6%,高于任务奖励参照 CAMP-I 的 54.2%

核心概要

长任务智能体的交互历史会超出上下文窗口,因此需要学会何时把状态写下来、何时读回。此前用在线策略蒸馏训练记忆控制时,依赖教师和学生都没见过的专用记忆工具或压缩协议,教师难以给出有效指导,学生也很少采样到有意义的记忆动作。CAMP-II 改走教师与学生预训练中都已熟悉的普通 Bash 文件操作,在五个长任务环境上联合训练单一策略,五环境平均任务成功率 64.6%,高于任务奖励参照 CAMP-I 的 54.2%,并迁移到 Terminal-Bench 2.1 与 SWE-Bench Pro V2。

AI-generated editorial illustration: Coding Agent Memory Post-Training II: Unlocking the Memory Potential of Pre-trained File Operations for Long-Horizon Tasks via On-Policy Distillation

深度剖析

长任务智能体的记忆控制改由普通文件操作承担,不再依赖专用记忆工具或压缩协议,训练后的策略在五个长任务环境上取得最高平均成功率。 此前的记忆蒸馏把记忆放在教师和学生预训练中都没有的接口上,教师无法对没使用过的接口给出有用指导,学生也采样不到足够的记忆动作。 在 CAMG-II 的五个环境、每个环境 128 个测试任务共 640 个任务上,CAMP-II 平均成功率 64.6%,CAMP-I 为 54.2%;五个训练种子的五环境均值为 64.9,标准差 0.5。

记忆通过一次普通 bash 调用完成,策略可以在整个回合持续存在的工作区里创建、修改、搜索和复用文件,把任务状态留在上下文之外。 上下文接近预算时会被清空,替换前策略必须写出一个有长度上限的续接文件,替换后新上下文只给出该文件路径,策略需自行读回。 训练用完全异步的在线策略蒸馏,教师为冻结的 Qwen3.8-27B,学生为 Qwen3.5-4B 与 Qwen3.5-9B,100 轮学习器更新、每轮 64 个回合,五环境等量混合,不使用任务奖励。

学到的记忆行为迁移到 CAMG-II 之外的两个基准,两个规模的策略都超过各自起点模型。 4B 策略在两个基准上各提高 6.9 个百分点,9B 策略在两个基准上都高于更大的 Qwen3.5-35B-A3B。 在 Terminal-Bench 2.1 与 SWE-Bench Pro V2 上,CAMP-II-9B 分别为 38.0 和 30.1,CAMP-II-4B 为 30.0 和 18.1,起点 Qwen3.5-4B 为 23.1 和 11.2。

启示与展望

演示范围是 CAMG-II 的 Shop、Coding、AutoResearch、General、Visual 五个环境,每个环境 128 个测试任务,外加 Terminal-Bench 2.1 与 SWE-Bench Pro V2 的无网络任务子集;读者对象是训练长任务智能体与做在线策略蒸馏的研究者。

研究覆盖的学生最大到 Qwen3.5-9B,且只用一个冻结教师;增益在更大规模上是否保持、能否推广到多教师在线策略蒸馏,均未测试。