KGPFN 用上下文学习让知识图谱基础模型在 57 个图谱上取得最佳平均 MRR
相关研究与后续进展
核心概要
作者提出 KGPFN，一个基于 Prior-Data Fitted Network 的知识图谱基础模型，通过关系图消息传递学习关系表示、从多层 NBFNet 中间头表示提取多尺度局部上下文，并利用查询关系的正负样例构建关系特定全局上下文，以特征级与样本级注意力聚合，经多图预训练后在无需推理时参数更新的情况下结合结构表示与带标签上下文证据，在 57 个知识图谱上无论是否微调均取得最佳平均 MRR，且上下文敏感性分析显示负上下文样例具有价值。
Figure 1: (a) Local context. The same structural cue may support different conclusions depending on the query-specific neighborhood. (b) Global context. Global context summarizes how a relation is typically instantiated across many examples and their neighborhoods.
arXiv深度剖析
KGPFN 将推理时上下文学习引入知识图谱基础模型，使模型在预测时同时依赖查询实体的局部邻域与刻画查询关系跨实例行为的全局上下文。 既有方法多聚焦关系层面的通用性，而上下文学习这一基础模型的另一支柱在知识图谱推理中基本未被探索；KGPFN 把结构化、异构的图谱上下文显式纳入条件化过程。 论文摘要明确指出现有方法“leaving in-context learning... largely unexplored for KG reasoning”，并说明 KGPFN 同时条件化于局部邻域与全局上下文。
模型通过关系图上的消息传递获得可迁移关系表示，并从多层 NBFNet 的中间头表示中抽取多尺度局部上下文。 把关系级表示学习与多尺度局部结构上下文结合，而非仅依赖单一层次的关系表示。 摘要描述“learns relation representations by message passing on relation graphs and extracts multi-scale local context from the intermediate head representations of a multi-layer NBFNet”。
KGPFN 从查询关系的正例与负例及其局部结构表示构建关系特定全局上下文，并用特征级与样本级注意力聚合。 将带标签的正负上下文证据作为全局上下文来源，并通过两级注意力进行聚合，摘要中的上下文敏感性分析进一步“highlight the value of negative context examples”。 摘要说明全局上下文由正负样例及其局部结构表示构成，并以特征级和样本级注意力聚合；上下文敏感性分析支持负上下文样例的价值。
通过多图预训练，KGPFN 学会在不进行推理时参数更新的情况下结合结构表示与带标签上下文证据，并在 57 个知识图谱上无论是否微调均取得最佳平均 MRR。 以 PFN 式的前馈上下文学习替代推理时参数更新，并在大规模多图谱评测中同时覆盖零样本式使用与微调两种设定。 摘要报告“On 57 knowledge graphs, KGPFN achieves the best average MRR both without and with fine-tuning”，并说明“without inference-time parameter updates”。
启示与展望
该工作面向需要在未见实体与关系上做知识图谱推理的研究者与工程实践者，适用于以链接预测式查询为核心、且可提供查询关系正负样例作为上下文的知识图谱场景；其多图预训练设定意味着方法预期在具备多图谱训练资源时发挥作用，并可在不进行推理时参数更新的前提下使用。
摘要未给出各数据集的逐项结果、上下文构造的具体规模与消融细节，因此负上下文样例价值的量级、以及不同图谱类型上的表现差异仍需在正文中确认；此外，多图预训练所需图谱集合的构成与规模在摘要中未展开，属于读者可继续关注的方向。