检索增强不必逐套试跑:一次校准预测14套配置的收益,诊断生成调用省八成
检索增强生成并非有证据就更好,无关证据会拖累生成器,而逐套配置实测收益又要为每个候选检索器重复生成。EviCast把候选检索器的净收益拆成两部分:生成器对受控证据状态的响应,以及该检索器离线输出落在各状态上的分布;前者只需在小校准集上测一次,即可复用于多个检索器。在HotpotQA的14套检索配置上,一次校准用96次生成调用做出14/14正确部署判断,预测误差2.75个F1点,诊断生成调用比逐配置直接测量少80%。
检索增强生成并非有证据就更好,无关证据会拖累生成器,而逐套配置实测收益又要为每个候选检索器重复生成。EviCast把候选检索器的净收益拆成两部分:生成器对受控证据状态的响应,以及该检索器离线输出落在各状态上的分布;前者只需在小校准集上测一次,即可复用于多个检索器。在HotpotQA的14套检索配置上,一次校准用96次生成调用做出14/14正确部署判断,预测误差2.75个F1点,诊断生成调用比逐配置直接测量少80%。
已读完全部报道