跳到主要内容
返回时间线
arXiv来源发表:

智能体工作流不再每次重造:先攒一个工作流池,再用上下文老虎机按题挑

核心概要

智能体工作流的选择被改写成上下文老虎机问题:在五个基准上平均分达到81.37%,MATH上训练阶段token开销至少降低40.55%。

Source-provided article image: CB-Orchestrator: Adaptive Workflow Optimization for LLM Agents via Contextual Bandits
Figure 1 · arXiv

深度剖析

智能体工作流不再对每个查询从零生成,而是从一个预先攒好的工作流池里按查询挑选。 此前的自动优化要么给一类任务配一个固定工作流,要么把每个查询都当成新的生成问题。 在MATH、GSM8K、MBPP、HumanEval、GAIA五个基准上,平均分81.37%,高于MaAS的79.79%和AFlow的78.76%。

工作流池由执行反馈驱动的进化搜索生成,选择器则用查询与工作流代码的嵌入做上下文。 选择被建模为上下文老虎机,用神经奖励预测加线性探索奖励的混合UCB打分。 MATH上池覆盖率为72.3%,GSM8K为98.0%,HumanEval为93.9%,MBPP为95.3%。

训练阶段省下的反馈开销来自样本效率,而不是缩短推理。 MATH上训练阶段token开销至少降低40.55%,含一次性工作流池生成的总训练开销至少降低29.73%。 MATH上探索系数取800时解题率54.36%,总token约6.14M;取400时52.43%,约4.28M。

启示与展望

报道范围是全文,覆盖方法、五个基准的实验、消融、跨域迁移与骨干模型扩展。适用读者是构建LLM智能体工作流的研究人员与工程师,关心的是选择策略与训练成本。工作流池由训练集上的执行引导进化搜索构建,池的覆盖情况按数据集分别报告。

混合UCB用原始嵌入空间做探索奖励,作者说明这不能直接继承神经老虎机的遗憾界,探索项不是校准过的置信区间。MATH上池覆盖率72.3%,低于其他基准,作者将其归因于竞赛级数学题的难度。在线学习模式会带来额外延迟与成本,作者建议谨慎触发。