语言智能体不再只训模型:JoMoHa把运行时生成也纳入强化学习,三环境平均成功率70.3%
语言智能体的表现同时取决于模型权重和承载它的运行时程序,也就是harness,只优化其中一边会被另一边卡住。JoMoHa把生成harness的Engineer和按harness执行任务的Solver放进同一个强化学习过程,用同一次任务结果同时训练两个策略。在ALFWorld、WebShop和DBBench上,它的成功率分别为97.0%、45.8%和68.0%,三者等权平均70.3%,高于所评估的只训权重、只改harness以及交替训练的做法。