跳到主要内容
返回时间线
arXiv来源发表:

检索增强不必逐套试跑:一次校准预测14套配置的收益,诊断生成调用省八成

核心概要

检索增强生成并非有证据就更好,无关证据会拖累生成器,而逐套配置实测收益又要为每个候选检索器重复生成。EviCast把候选检索器的净收益拆成两部分:生成器对受控证据状态的响应,以及该检索器离线输出落在各状态上的分布;前者只需在小校准集上测一次,即可复用于多个检索器。在HotpotQA的14套检索配置上,一次校准用96次生成调用做出14/14正确部署判断,预测误差2.75个F1点,诊断生成调用比逐配置直接测量少80%。

Source-provided article image: EviCast: Forecasting Retrieval Gains Through Shared Response Calibration
arXiv

深度剖析

部署检索增强前可以先预测收益,而不必把每个候选检索器都完整跑一遍。EviCast给出的是某套生成器、任务分布与检索器组合相对不检索基线的期望净增益,并据此决定是否启用检索。 此前的检索决策方法要么在单条查询或单个生成步上触发检索,要么在系统执行之后评估,要么估计单条查询或单篇文档的局部效用,都无法在大规模执行前判断一整套配置是否值得部署,也难以在共享生成预算下比较多个候选检索器。 在覆盖案例式情感推理、缺失模态增强、标签证据与稠密段落检索的10个任务配置上,冻结后的判断与独立测试结论一致9/10,且没有把任何缺乏显著增益的配置误判为启用。

同一份生成器响应校准可以服务多个检索器,新增候选只需离线统计其证据状态分布,不再增加生成调用。 逐配置直接测量要为每个检索器分别生成检索与不检索两种条件下的答案,生成成本随候选数量线性增长,小样本下的增益估计也不稳定。 HotpotQA的14套检索配置共用一次EviCast-B校准,96次生成调用做出14/14正确判断,平均绝对误差2.75个F1点,Pearson与Spearman相关系数为0.983和0.890;相对直接测量,预测误差降低71.3%,生成调用减少80%。

多跳问答中,同样含一篇正确段落的证据集价值可能相差很大,因此证据状态需要区分终端段落与桥接段落。 按正确段落数量划分状态无法区分这两种情形:一个状态只提供桥接信息,另一个直接含答案信息,二者都只含一篇标注支持段落。 这两个状态在Qwen上的F1增益分别为4.55和50.95点,在Phi-4上为2.58和45.65点;拓扑感知版本EviCast-T在MuSiQue与HotpotQA上16/16判断正确,总体平均绝对误差2.81点,前瞻性迁移到2Wiki后为23/24。

启示与展望

演示范围是固定生成器、提示模板、语料与检索深度下的部署诊断,只改变离线排序;评估覆盖多跳问答三个数据集、多模态与纯文本生成器,以及稀疏、稠密和融合检索器。作者提出后续把证据状态扩展到可变检索深度、迭代检索与多模态知识环境。

状态充分性以响应在同一状态内不随检索器系统变化为假设,分层置换检验在全部15项检验中未检出该依赖;拓扑感知映射相对更细参考的偏差为0.31和0.27个F1点,剩余误差被归因于校准采样。二元实例的精确性取决于线性性间隙,该间隙在复用划分上为小值,在拓扑感知划分上对两个生成器分别为较大值。