检索库该留哪些片段有了有限样本证书:数据依赖筛选之后,覆盖遗憾上界仍然成立
核心概要
在存储或标注预算下为检索增强生成挑选文档片段时,选出的集合相对最优可行集合会损失多少查询覆盖,此前缺少在数据依赖选择之后仍然有效的有限样本保证。这项工作把选择与审计分开:试点阶段选集合、筛候选并搭建比较网络,随后一次独立审计按可观测分层内的固定概率获取相关性标签,给出对所有保留覆盖对比同时成立的上界,并用模拟验证其名义置信水平。
深度剖析
预算受限的文档片段选择现在可以附带一个有限样本、分布无关的覆盖遗憾上界,而且这个上界在集合和候选经过数据依赖的筛选之后依然成立。 此前,经验选择目标上的近似最优值并不蕴含总体遗憾很小,计算上的近似保证与统计上的覆盖证书是两回事。 模拟研究在全部设置和全部七种证书下,证书在每一次重复中都覆盖了真实遗憾,同时审计事件也在每次重复中成立,证书因此以保守常数留有余量。
做法是把选择阶段和标注阶段拆开:试点阶段可以自由地选集合、筛掉竞争者、搭建比较网络并学习标注策略,随后一次独立审计按可观测分层内的固定概率获取相关性标签。 审计的抽样概率在可观测分层内保持常数,因此自适应采集不会破坏对未知查询总体的置信陈述。 证书由经验Bernstein方差校准或无需校准的一阶段构造变为可观测,并计入估计的分层比例;模拟在一个合成设计上运行,语料为六个片段簇、每簇五个片段,成本全为1、预算为5。
启示与展望
证书的有效性在文中列出的假设下成立,包括独立无标注查询、分层且与标签无关的审计设计,以及预先固定的残差预测器;模拟在一个合成设计上运行,含六个片段簇、每簇五个片段,成本全为1、预算为5。
文中明确区分有效性(在指定假设下成立)与效率(取决于竞争者几何与审计设计),并指出多尺度网络相对直接联合界的改进需要可认证的冗余包络,仅凭样本无法认证这种冗余;模拟中证书始终远高于真实遗憾,最小证书约为0.101,其中约0.033来自权重修正项。
