技能库不再只进不出：SkillForge让技能随策略淘汰与改写，WebShop成功率相对提升7.8%

智能体的技能库不再只增不减，而是按适应度在试用、活跃、稳定、退役四个状态间移动，技能与策略在训练中一起演化。 此前的技能增强强化学习把技能库当作只追加的仓库，条目一旦加入就永久保留，无法随策略进步而修正。 在ALFWorld、WebShop和搜索增强问答三个交互基准上，SkillForge取得最高总体成功率，相对最强基线最高提升7.8%；ALFWorld为92.4%，WebShop为78.4%。

每个技能记录被检索次数与成功次数，据此算出适应度，再决定晋升、降级、退役或改写。 适应度是累计运行平均，并设最低使用次数门槛，避免在证据不足时对技能下判断。 锻造周期每10个训练步执行一次，每周期最多改写5个技能、退役3个技能，技能总数设上限；改写由Kimi-K2.5教师模型完成，训练在64块NVIDIA H200上以verl框架运行200步。

改写只针对适应度处于中等区间且使用次数足够的活跃技能，用其近期失败轨迹生成改进版本。 改写父技能按适应度反比加权抽样，偏向提升空间更大的技能，而不是集中在单个离群技能上。 三个环境共生成213个变异技能，存活率分别为64.8%、52.7%和62.9%；最终非退役技能中46.4%来自改写而非种子技能。

报告覆盖的是SkillForge在ALFWorld、WebShop和搜索增强问答三个交互基准上的训练与评测，基座模型为Qwen2.5-7B-Instruct，训练200步，评测取最佳验证检查点并重复五次。适合研究智能体记忆、技能库管理与智能体强化学习的读者。原文把更大模型下的可扩展性留作后续工作。

适应度按回合级共享奖励计算，同一回合被共同检索的多个技能无法区分各自贡献，原文称共同检索频率在各环境均低于一定比例。实验全部使用7B基座模型，更大模型下的生命周期动态尚不清楚。改写依赖外部教师模型的指令遵循能力，教师较弱时产生的低质量变异需由试用门槛过滤。