跳到主要内容
返回时间线
arXiv来源发表:

MCP工具选择里参数模式最管用:改一个字段名,选中率从九成掉到一成

核心概要

在MCP工具选择中,参数模式比名称和描述更能左右模型选谁:把to改成recipient_id后,五个模型对同一工具的选择率降到1%–10%。

Source-provided article image: Which Metadata Matters for LLM Tool Selection in MCP? Evidence from Controlled Factor-Level Interventions
Figure 2 · arXiv

深度剖析

在功能相近的MCP工具之间,模型选谁主要由参数模式决定,而不是由服务器名或工具名决定。 此前对工具选择偏差的研究集中在名称和描述上,参数模式很少被单独改变来比较。 在五个任务、五个模型的三工具对照中,28个数值估计有23个的95%置信区间不含零,其中22个为正;参数模式的系数在30个任务—模型条件中有19个是最大项,中位幅度3.82,超过描述项1.48的两倍。

模型偏好把参数平铺成独立的顶层字段,而不是塞进一个对象或字典里。 生态数据里同名同描述的工具参数写法差异很大,例如169条send_email记录用了78种不同的参数集合。 在Create Issue任务中,五个模型在93.3%–100%的试验里选中带独立顶层参数的工具;在Create Pull Request中,当请求分别给出owner和repo时,五个模型都偏好分开的字段,当请求给出合并的owner/repo路径时仍有四个模型如此。

参数名会改变模型对工具是否合适的判断,而不只是影响调用时怎么填参数。 此前认为参数模式主要规定工具如何被调用,而不是决定它是否被选中。 把to改名为recipient_id后,五个模型对该工具的选择率降到1.0%–10.0%;改名为请求中从未出现的receiver时仍保持35.2%–51.0%;当请求明确要求抄送而只有一个模式能接受cc字段时,五个模型都选中该工具,即使它排在第二位。

启示与展望

结论覆盖五个被测模型、五个任务、所构造的元数据变体和两到五个候选工具的规模,且限于单轮、由LLM生成、不含工具执行的英文请求。读者对象是MCP服务器开发者、宿主设计者和工具选择评测者;实验只复现请求呈现与选择两步,不执行任何工具。

作者说明测量的是选择行为而非决策过程,因此对命名效应的解释(例如recipient_id暗示标识符而非邮箱地址)仍是行为层面的推断。结论限于被测模型、任务、元数据变体和候选规模,且被测模型通过API访问,后续运行结果可能不同。