跳到主要内容
返回时间线
Cohere Labs来源发表:

编码智能体团队不必全用强模型:便宜模型只做规划,成绩接近全强模型团队

核心概要

编码智能体团队在从零重建程序的任务上普遍强于单个智能体,但花费是单个智能体的四到七倍。一项在ProgramBench两百个程序上的受控实验显示,把便宜模型只放在探索与规划阶段,能在比全强模型、全阶段委派团队低约八成成本下把成绩差距控制在2.7分以内,因为这类任务真正的瓶颈是弄清原程序的行为。

Source-provided article image: Lessons from scaling teams of coding agents: reach the frontier at 30% of the cost
Figure 4 · Cohere Labs

深度剖析

把编码智能体编成团队,在从零重建程序的任务上比单个智能体通过更多行为测试,但运行成本明显更高。 此前单个智能体在同一任务上得分更低,而团队方案的花费是单个智能体的四到七倍。 在ProgramBench的200个程序上,同一最小提示下,阻塞式Sol团队平均通过61.8%的测试,单个Sol智能体为52.1%;换成PIV提示后单个智能体升到57.7%,阻塞式团队仍以63.1%领先约5个百分点。

团队里最值得投入额外智能体的环节是探索与规划,而不是写代码或验证。 只让工作智能体做规划,与让它们参与全部三个阶段相比,成绩相当而花费减半。 异步团队中,只委派规划的团队平均通过63.6%,委派全部三个阶段的团队为63.2%,成本分别为249美元和510美元;按每多花100美元换来的分数计,规划约为次优阶段的2倍。

规划工作智能体可以用便宜模型承担,但团队负责人仍需强模型。 把规划工作智能体从Sol换成更便宜的Luna,成绩只小幅下降,而把负责人从Luna升到Terra再到Sol,成绩逐级上升。 Sol负责人配Luna规划智能体平均通过60.5%,全Sol团队为63.6%;负责人为Luna、Terra、Sol时团队成绩分别为42.5%、51.6%、60.5%,且都高于同模型单独运行,但Terra负责人配Luna工作智能体仍低于单独运行的Sol智能体(51.6%对57.7%)。

增加规划智能体数量能持续带来信息,增加实现智能体则不能。 规划团队从2个扩到16个Luna工作智能体时成绩上升,而实现与验证团队在4个之后略有回落。 规划团队从2个工作智能体时的59.6%升到16个时的61.8%,16个Luna规划智能体花费155美元;每个规划智能体无论团队大小都运行参考程序约7次,团队整体运行次数从15次增至109次,报告从1.7万字符增至7.5万字符,而实现智能体分到的任务从约1400字符缩到440字符。

启示与展望

这套结论建立在ProgramBench这一从零重建程序的基准上,任务要求智能体通过运行原程序来发现其接口与边界行为,因此规划阶段的收益与这一设定绑定。作者也在Commit0-Lite的16个Python库上做了次要检验,那里的仓库骨架、文档和单元测试已经说明要建什么。读者若关心规格已给定的场景,应把Commit0的结果与ProgramBench的结果分开看待。

Commit0-Lite只有16个任务,且强模型已接近饱和,作者将其视为提示性而非结论性证据。跨模型比较只在30个任务的子集上每种配置跑一次,几分的差异可能是噪声。通信实验里Luna团队成绩下降,作者给出两种可能解释,一是中间更新淹没较弱的负责人,二是Luna工作智能体的send_message调用约有一半格式错误被工具层拒绝。作者也指出,团队能否获益取决于负责人是否选择委派以及是否用好返回结果,而这一能力能否随模型规模自然出现仍需检验。