知识图谱上下文不必整张图喂给模型:关系知识挑出十几条事实,七个开源模型答得更准
核心概要
知识图谱问答通常按相关性排序把事实塞进提示词,但相关不等于足够、也不等于彼此一致。这套方法用关系知识(关系含义与组合规则,或从带关系路径标注的训练问题学到的映射)在图上搜出一条能推出答案的紧凑事实集,再用可推导性检查判断答案能否从上下文推出、一致性检查判断事实是否冲突,并由验证集选出的门控决定何时用推导答案替换大模型回答。在 WebQSP 上,七个开源模型读这套平均 14.7 条事实的上下文,精确匹配比读 SubgraphRAG 的 100 条事实平均高 10.2 个百分点。
深度剖析
知识图谱问答的提示词里放哪些事实,现在有了一个按关系知识挑选的紧凑版本:它只保留能推出答案的那条路径上的事实,而不是按与问题的相似度排序截取。 此前的检索器按相关性保留最相关的事实,路径生成器保留微调模型规划出的路径,探索式方法让大模型自己判断事实是否足够;相关性排序本身既不保证事实足够推出答案,也不保证事实之间不冲突。 在 WebQSP 上,这套上下文平均 14.7 条事实,七个开源指令微调模型读它的精确匹配比读 SubgraphRAG 的 100 条事实平均高 10.2 个百分点,逐模型高 4.6 到 13.0 个百分点;在 CWQ 上,平均 18.6 条事实的上下文被七个开源模型读出的精确匹配与 SubgraphRAG 的 100 条事实大致相当,而提示词 token 只有后者的四分之一。
挑选之外还有两道不经过大模型的检查:可推导性检查问答案能否从上下文推出,一致性检查问上下文里的事实是否互相矛盾,两者共同决定由推导答案还是大模型来回答。 关系知识有两种来源,CLUTRR 自带亲属关系规则,其余基准没有规则,改从训练问题及其标注关系路径学出映射:模板化问题用词与关系的提升度词典,人写的问题让最相似的训练问题按相似度为各自的关系链投票。 在事先留出的 WebQSP 与 CWQ 问题上,可推导性检查通过时推导答案的正确率为 81.5% 和 62.1%;再要求恰好推出一个答案,精确率升到 89.8% 和 95.9%,覆盖 17.6% 和 4.9% 的问题,这是按预先固定的计划在未参与调参的问题上确认的结果。
启示与展望
演示范围是五个公开基准上的知识图谱问答:CLUTRR 的亲属故事、PathQuestion 与 MetaQA 的模板问题、WebQSP 与 CWQ 的人写问题,由七个 4 位量化的开源指令模型以及 GPT-5 和若干推理模型在固定提示词下阅读;WebQSP 与 CWQ 使用 RoG 发布的问题子图,主题实体已给定。
推导答案在人写问题上的覆盖面小且依赖见过的关系链:WebQSP 测试问题中 94.7% 的关系链在训练中出现过,只有未见链的 63 个问题里检查通过 4 个且全部答错;CWQ 上检查通过 11.8%,比较级与最高级问题没有一个通过且答对。一致性检查只在上下文存在连接同一对实体的第二条路径时才能凭路径证据判断事实,而紧凑 WebQSP 与 CWQ 上下文中只有 2.5% 的命名实体事实提及具备这样的路径;图本身若含错误事实且被选中,两道检查几乎都漏掉。
