跳到主要内容
返回时间线
arXiv来源发表:

同样的工具,换一种接口写法:智能体行为就变了,修复表达后六项设置分数最高涨9.0分

核心概要

在可执行能力完全对齐的条件下,MCP 与 CLI 两种接口写法仍会让语言智能体走出不同的任务轨迹。研究用共享语义动作契约构造两套接口,在六个模型、三个交互环境上比较,2,004 对轨迹中有 94.3% 出现结构化分歧;据此设计的 DART 在语义决策已确定时只修复接口表达,使六项基准–接口设置的分数全部提升,最高 9.0 分,并在三个环境的 MCP 下降低 token 开销。

AI-generated editorial illustration: Matched Capabilities, Different Behaviors: A Controlled Study of MCP and CLI Interfaces for Language Agents

深度剖析

同一组可执行操作,仅改变呈现给模型的接口形式,就足以改变语言智能体的任务得分和交互开销。 此前的 MCP–CLI 系统级对比往往同时改变了工具粒度、提示、验证或执行脚手架,性能差异无法单独归因于接口表示。 在六个模型与 ALFWorld、WebShop、ScienceWorld 三个交互环境上,接口效应的大小和方向随模型–环境组合变化:Qwen3-14B 在 ALFWorld 上 MCP 比 CLI 低 36.6 分(20.1 对 56.7),在 WebShop 上则高 4.9 分(64.4 对 59.5)。

接口差异不止停留在格式层面,还改变了智能体选择哪个语义动作、在哪一步失败、以及失败后如何恢复。 端点分数会把不同的交互路径压成同一个数字,看不出语义选择、表达失败与交互成本的区别。 WebShop/Qwen3-14B 上,MCP 使解码后动作频率向 click 偏移 6 个百分点、从 search 移出 6 个百分点;WebShop/Qwen3-4B 上重试被接受的比例为 CLI 50%、MCP 77%,后续任务成功率为 18% 与 34%。

分歧在交互早期出现,并沿后续历史持续传播,因此轨迹而非单步响应才是分析智能体行为的合适单位。 固定决策上下文下的局部探针只能定位敏感性来源,无法说明它如何改变之后的观察、状态与成本。 2,004 对配对轨迹中有 1,889 对(94.3%)出现结构化分歧,首次分歧在多数模型–环境分层中出现在交互开头附近,语义动作差异占分歧对的主要份额。

把语义决策与接口表达拆开,在表达失败时只修表达、不改决策,可以同时提高分数并降低 MCP 下的 token 开销。 常规重试策略在表达失败后重新选择语义动作,可能丢弃已经通过验证的决定。 Gemini-2.5-Flash 上,DART 在 ALFWorld、WebShop、ScienceWorld 的 CLI/MCP 设置分别提升 +1.5/+9.0、+0.8/+4.4、+6.7/+5.3 分;MCP 下每任务 token 分别减少 27.1k、11.2k、4.3k,CLI 下变化为 −0.8k、+4.8k、+1.6k。

启示与展望

结论覆盖 Qwen3-4B/8B/14B/32B、DeepSeek-v4-Flash 与 Gemini-2.5-Flash 在 ALFWorld、WebShop、ScienceWorld 上的配对评测,DART 的配对比较只在 Gemini-2.5-Flash 上完成。适合关注工具调用接口设计与智能体恢复策略的研究者和工程师阅读。

接口效应的大小和方向随模型与环境变化,论文没有给出跨模型统一的优势方向;DART 的分数提升与 MCP 下的 token 下降来自 Gemini-2.5-Flash 的六项配对设置,其他模型未做该干预评测。