语言智能体不再只训模型：JoMoHa把运行时生成也纳入强化学习，三环境平均成功率70.3%
核心概要
语言智能体的表现同时取决于模型权重和承载它的运行时程序，也就是harness，只优化其中一边会被另一边卡住。JoMoHa把生成harness的Engineer和按harness执行任务的Solver放进同一个强化学习过程，用同一次任务结果同时训练两个策略。在ALFWorld、WebShop和DBBench上，它的成功率分别为97.0%、45.8%和68.0%，三者等权平均70.3%，高于所评估的只训权重、只改harness以及交替训练的做法。
深度剖析
语言智能体的能力不再只由模型权重决定，生成运行时程序的策略本身也成为一个可训练对象，并与执行任务的策略一起从同一次任务尝试的结果中学习。 此前的做法要么只训练执行任务的模型权重，要么把harness优化交给固定的外部前沿模型来提议改进，执行反馈只用于挑选harness，不会更新提议者本身。 在ALFWorld、WebShop和DBBench上，JoMoHa的成功率分别为97.0%、45.8%和68.0%，等权平均70.3%，比Agent SFT + Harness-R1高6.1个百分点，比WHALE高7.2个百分点。
两个策略共享同一次任务尝试的奖励：Engineer学会生成能支撑成功执行的harness，Solver学会在该harness下完成任务，各自只在自己的生成token上更新。 训练单元是一次完整任务尝试，包括生成的harness、在其下执行的动作和最终结果；无效提议会回退到基础执行器，而不是让整轮训练失败。 ALFWorld的协调实验使用独立的Qwen3.5-9B级Engineer和Solver，各自配有独立的critic，从Agent SFT初始化，每轮收集8条配对episode，共训练144轮。
两个角色输出长度和决策跨度不同，共享奖励下的回报尺度也不同，因此critic目标按角色分别归一化，再用伙伴轨迹的似然比调整旧经验的影响，并让Solver多获得若干只更新自己的轮次。 只做联合更新、不加这四项协调机制的Joint-only版本最终成功率为88.5%，单独加入Context、Schedule、Peer或ValueNorm后升到91.5%至92.5%。 四项机制全部启用后达到97.0%，比Joint-only高8.5个百分点；其中Context单独加入时点估计最高，为92.5%。
启示与展望
评估覆盖ALFWorld、WebShop和DBBench三个环境，分别对应家务任务完成、目标导向购物和数据库交互；ALFWorld协调实验使用Qwen3.5-9B级Engineer与Solver，从Agent SFT初始化，每轮8条配对episode、共144轮。除本地评估的JoMoHa和WHALE外，基线分数取自Harness-R1，并使用其训练集与测试集，checkpoint和harness在独立验证集上选择。部署时选取一个已保存的harness，配合冻结的Solver checkpoint评估。
交替训练在ALFWorld上先从83.0%升到90.5%，随后逐阶段降到31.5%，固定组件对照把下降拆成Solver自身能力损失和旧harness随模型变化而加剧的干扰两部分，但后者被描述为与训练中harness不匹配可能引导Solver走向较差行为相一致，而非已证实的因果。ALFWorld的Pick2仍是各类别中最弱的一项，为91.8%，说明需要收集并放置多个物体时仍有提升空间。