跳到主要内容
返回时间线
researchsquare.com来源发表:

异质图注意力不再只看路径两端:TAHAN把中间节点按类型分组,DBLP与IMDB分类均值领先

核心概要

异质图上的注意力聚合长期把节点类型当作静态标签,元路径聚合又容易忽略中间节点的语义贡献。TAHAN改为沿元路径前缀收集邻居,跨元路径与层级按节点类型合并,再用类型内注意力和类型间注意力两级融合。在DBLP与IMDB的节点分类上,它的Macro-F1与Micro-F1均值高于所列基线,IMDB两项提升经Holm校正后显著;ACM上则低于SeHGNN。

Source-provided article image: TAHAN: Type-Aware Heterogeneous Graph Attention Network
Fig. 2 · researchsquare.com · 第 7 页

深度剖析

异质图上的邻居聚合现在按节点类型组织:同一类型下的邻居先各自打分,再由一层跨类型注意力决定各类型表示在最终节点向量中的比重。 此前的异质图注意力网络多以元路径为聚合通道,只关注路径端点类型之间的关系,路径中间经过的节点类型所携带的语义没有被单独利用。 在DBLP与IMDB的节点分类上,TAHAN的Macro-F1与Micro-F1均值高于表中所列基线,IMDB两项提升经Holm校正后p值小于0.001;在ACM上其均值比SeHGNN低0.75和0.86个百分点。

做法是把元路径当作收集邻居的路线,而不是彼此独立的聚合通道:沿每条元路径的每个前缀取到的节点,跨元路径、跨跳数按类型合并成若干类型专属邻域。 合并后每个目标节点、每种邻居类型共用一个采样预算,按度做伯努利保留,使每个类型期望保留不超过该预算的邻居,从而控制后续注意力的输入规模。 实验覆盖DBLP、IMDB、ACM、AMiner四个分类数据集,以及AMiner-Large、PubMed、LastFM,结果取10次独立随机种子运行的均值与标准差。

启示与展望

评估覆盖DBLP、IMDB、ACM、AMiner四个节点分类数据集,AMiner-Large上的大规模分类,以及PubMed与LastFM上的链接预测,全部实验在Toubkal超级计算机上完成。

合并会丢弃路径重数与邻居经由哪个前缀到达的信息,同一类型邻居在不同路径位置出现时只作为单个候选进入采样邻域;类型级softmax让各类型共享一份权重预算,一个类型权重升高会压缩其他类型。作者指出,消融在替换注意力时也改变了可训练参数,因此无法把加权的作用与模型容量的作用完全分开。