跳到主要内容
返回时间线
arXiv来源发表:

智能体换模型不再只看当前请求:带上会话历史,同等卸载率下通过率多3.3个百分点

核心概要

多轮智能体的模型路由被放到用户轮次边界上考察:路由器在每一轮开始前决定整轮由便宜还是昂贵模型执行。在同等把约两成轮次交给便宜模型的卸载率下,能看到会话历史的路由器在SheetCopilot上通过率28.3%,只看到当前请求的同一路由器为25.0%,差距3.3个百分点,且前者与全程使用昂贵模型相差不到1个百分点。研究还给出缓存分析:向下切换(昂贵转便宜)约两次调用即可收回缓存代价,向上切换在评测条件下无法回本。

Source-provided article image: Whose turn is it? Context-guided model routing for stateful agents
Figure 2 · arXiv

深度剖析

多轮智能体里的模型路由不再被当作彼此独立的请求处理,而是被当作一个顺序决策问题:每一轮该用哪个模型,取决于此前各轮留下的会话与工作簿状态。 此前的路由器大多把每个请求看成独立输入,只根据当前请求判断难易;而智能体的一轮用户请求往往包含多次模型调用和工具调用,其难度由前面轮次产生的状态决定。 在SheetCopilot的多轮版本上,同等卸载率下带历史的路由器通过率28.3%,不带历史的同一路由器为25.0%,差距3.3个百分点,并且在三组候选模型对上每一对都为正。

路由器的信息集比决策规则更关键:看到会话历史后,路由器把哪些轮次交给便宜模型发生了变化,而不是把更多轮次交出去。 两种路由器交给便宜模型的轮次比例几乎相同,平均23.3%对22.7%,差别在于被卸载的是哪些轮次。 三组候选模型对的增益分别为Sol/Haiku 5.4个百分点、Sol/Luna 2.7个百分点、Opus高/低推理强度1.7个百分点,候选质量差距最大的那一对增益也最大。

切换模型不是免费的,代价来自提示缓存:换模型后新模型无法复用上一个模型缓存的对话轨迹,这段上下文要按未缓存输入重新计费。 同一模型连续处理相邻轮次时,下一轮可以复用系统与工具前缀以及该模型自己的对话轨迹缓存;切换后只能复用固定的系统与工具前缀。 闭式分析给出回本所需的调用次数,在所用价格下Sol/Luna与Sol/Haiku的向下切换约两次调用即可收回缓存代价,而向上切换每次约每百万token上下文4.9美元,是向下切换0.5美元的十倍,在评测条件下无法回本。

启示与展望

评测覆盖两个多轮电子表格基准:SheetCopilot含221个任务,其中保留112个含多个子任务的任务,平均2.88轮、最多七轮;SpreadsheetBench 2把221个端到端工作流转成多轮对话,平均4.76轮、最多六轮。候选模型对覆盖同一提供方内的模型大小差异、同一模型内的推理强度差异,以及跨提供方的模型差异,所有策略共用同一智能体运行时、系统提示、工具与执行上限。成本按2026年8月29日记录的价格计算,缓存输入按缓存价、其余输入按未缓存价计费。

会话平均接近三轮、轨迹最长七轮,更长的轨迹、彼此独立的任务以及跨工作表交互仍待研究。把标注好的子任务拆成顺序轮次只是对自然交互的近似,不能覆盖真实对话的全部多样性。两个基准在工作簿规模与领域上不同,因此它们之间的成本折扣对比是描述性的。固定模型基线被假定在任务内每一轮都保留不断增长的轨迹缓存,这一假设使路由策略的成本比较偏保守。