GraphCLaRa 给冻结的 CLaRa 阅读器加一层图重排:多跳问答 F1 最高提升 6.6,且用更少文档
核心概要
多跳问答的检索增强生成常被无关文档拖累,而 CLaRa 把检索文档压成稠密隐记忆后,文档之间的结构关系更难被利用。GraphCLaRa 在冻结的 CLaRa 阅读器前加一个约 130 万参数的图重排器:按查询构建文档图,用图注意力网络传播证据,再自适应决定送入多少篇文档。在四个问答基准上,它在三个数据集上提升答案 F1,2Wiki 提升 6.6、MuSiQue 提升 6.4、NQ 提升 2.5,同时使用更少文档;在检索已饱和的 HotpotQA 上落后 1.1 F1。
深度剖析
多跳问答的检索环节多了一个只做文档选择、不改动生成器的前置模块,答案质量因此可以在阅读器完全冻结的条件下改变。 此前的 CLaRa 把全部 20 篇候选文档按打乱后的原始顺序送入冻结阅读器,不做外部重排,也不做自适应预算。 在四个基准的完整评测集上,GraphCLaRa 在 MuSiQue 上把 F1 从 25.9 提到 32.4、2Wiki 从 42.7 提到 49.4、NQ 从 56.6 提到 59.1,精确匹配同步上升 6.8、5.1、2.3;HotpotQA 上从 69.5 降到 68.5。
做法是把候选文档组织成一张随问题变化的图,让彼此相关且都与问题相关的文档互相传递证据,再据此排序并决定读几篇。 图注意力网络是一种在图的边上做注意力聚合的网络,这里用它把文档特征沿加权边传播,得到每篇文档的图特征。 图由冻结的 BGE 嵌入确定性地构建,边权为文档间余弦相似度乘以两篇文档查询相关度的均值,阈值 0.3 以下丢弃;排序分数由内容残差与图残差经门控融合得到,预算头在 5、10、20 三档中选择。
收益出现在检索还有改进空间、且检索失败会直接拖垮答案的数据集上,而不是所有数据集。 HotpotQA 的基线检索已接近饱和,全部金标文档落在前 5 的比例为 77.0%,可回收的空间很小。 MuSiQue 与 2Wiki 上基线只有 15.2% 和 39.5% 的样本能一次取全金标文档,GraphCLaRa 把 R@5 推到 0.953 和 0.997;HotpotQA 上预算头在 99.3% 的实例上收缩到 5 篇,而这 5 篇保住完整金标桥接的比例为 74.0%。
启示与展望
评测限定在 apple/CLaRa multi stage 发布的四个问答数据集、每例固定 20 篇候选文档、冻结的 CLaRa-7B-E2E 阅读器与冻结的 BGE-large-en-v1.5 编码器这一设置下;作者提出的后续方向是面向下游的预算目标、更丰富的预算特征以及能制造检索余量的查询分解。
预算头由覆盖金标文档的最小 K 这一检索代理目标监督,对更大 K 反而答得更好的情形不敏感;在 HotpotQA 上它收缩到 5 篇,丢掉至少一篇金标文档的 26.0% 实例上 F1 从 0.646 降到 0.479;对照只有全上下文 CLaRa 基线,BL@K 对照与 BM25、交叉编码器等更强基线留待后续;路径监督与边细化项的效果未做端到端评测。
