搜索界面不再由人手工固定:SearchWeaver按语料自动改写工具与说明,答案准确率从71.6%升到78.4%
核心概要
语言模型智能体的检索效果取决于它拿到的搜索界面,而现有界面多由人预先设定、对所有语料一视同仁。SearchWeaver把语料预处理产物、可执行工具和使用说明放在一起,用智能体的执行轨迹与任务奖励反复改写,再按下游搜索表现挑选。在GPT-5.4-nano上,优化后的界面把BrowseComp-Plus答案准确率从71.6%提到78.4%,把四个BRIGHT子集的平均nDCG@10从45.7提到55.0,同时缩短了工具执行时间。
深度剖析
搜索界面从人工固定的一次性设计,变成可以按语料自动生成并复用的资源。 此前的检索增强生成、直接语料交互以及把检索结果放进工作区的做法,都先定好界面再原样套用到每个语料,尽管最有效的设计取决于语料规模与结构、查询类型和所用语言模型。 以直接语料交互为起点,SearchWeaver在BrowseComp-Plus上把答案准确率从71.6%提高到78.4%,在四个BRIGHT子集上把平均nDCG@10从45.7提高到55.0,并在两个基准和全部四个子集上都优于直接语料交互。
优化同时改动三样东西:查询前准备好的语料产物、工具暴露的操作,以及留给智能体自己判断的部分。 此前的提示词优化只改文字,另一类方法只改模型外层的运行代码,都不触及语料产物与工具本身。 一个编码智能体充当提议者,读取语料、已有候选界面以及每次执行产生的逐查询奖励和完整轨迹,写出新界面;每轮评估一个候选,共十轮,最后按优化查询上的平均奖励选出界面,测试查询不进入提议者的反馈。
优化出的界面在不同语料上采取不同策略,并且换一个语言模型仍能沿用。 在BRIGHT上,Biology把检索限制在题目所属的主题目录内,Earth Science只在构造最终排序时引入检索,Economics和Robotics分别通过文档排序和相关性分级纳入智能体的判断。 用GPT-5.4-nano优化出的界面不经重新优化交给Gemini 3.5 Flash-Lite使用,BrowseComp-Plus准确率与BRIGHT平均nDCG@10仍高于直接语料交互,BRIGHT上的平均工具执行时间也下降。
启示与展望
实验针对固定语料:BrowseComp-Plus用30条查询做界面优化、800条做测试,BRIGHT的四个子集合计213条优化查询和210条测试查询,搜索智能体为GPT-5.4-nano,提议者为Claude Opus 5.5,每个语料从默认直接语料交互界面出发、每轮评估一个候选、共十轮。这一范围说明结论适用于所测的固定语料与模型组合。
当文档被加入或修订时,语料产物和依赖它们的工具可能需要更新;何时必须更新、能否增量完成而不重跑整个优化过程,尚未研究。
