跳到主要内容
返回时间线
arXiv来源发表:

聚合本身就是一道谱谷:SpecValley把谷的位置交给数据学,六个异配图上四个领先

核心概要

图神经网络在异配图上做节点分类时,聚合前的那一步一直由度归一化固定,而度归一化在谱上相当于一道零点位置由归一化而非数据决定的谷,稠密图的特征值恰好堆在那里。SpecValley把这道谷的中心、锐度和两侧增益改为按图学习,再接入一个普通的ChebNet谱滤波器。在六个异配基准上,SpecValley在其中四个达到或超过已发表最好结果,在Tolokers上落在最好结果的置信区间内,在Actor上落后;交叉五种聚合器与四种滤波器的对照把增益归到聚合这一步,而不是下游滤波器。

Source-provided article image: SpecValley: Aggregation as Spectral Valley in Dense Heterophilic Graphs
arXiv

深度剖析

聚合不再是一个由度归一化写死的固定步骤,而成为一道可以按图调整位置的谱谷,放在普通谱滤波器之前。 此前的做法把卷积算子或图结构设计得越来越有表达力,却把滤波器之前的那一步留成度归一化;度归一化的谱响应零点固定在特征值均值处,位置由归一化决定而不是由数据决定。 在六个异配基准的存储划分上,把五种聚合器与四种滤波器交叉组合,并配以每个图的标签能量谱;在Chameleon-f、Crocodile和HM-categories上,四种滤波器下每种聚合器都优于不做聚合,而在Actor上以及Tolokers的20种组合中的16种里,无参数聚合与注意力聚合反而低于不做聚合。

这道谷的形状由三个可学量描述:零点位置、锐度和两侧增益,度归一化成为它的一个特例。 此前的自环—邻居分离在谱上只给出仿射族,位置可学而形状不可学,锐度和不对称性仍沿用度归一化。 训练从度归一化对应的参数出发,让模型学习偏离;在Actor上学习到的谷与不做聚合的差距保持在若干点以内,而其他聚合器最多损失若干点,在Tolokers上多项式滤波器下与不做聚合持平、其余情形高出若干点。

聚合决定了有多少谱能量能到达下游滤波器,线性谱滤波器只能重新加权聚合送来的东西,无法恢复被聚合削掉的频带。 此前的谱方法把表达力放在滤波器一侧,默认聚合已经固定了频率剖面。 谱能量预算的推导给出逐频带的上界与不创造能量的结论;在滤波器阶数扫描中,谷有效的那几个图上与单独ChebNet的差距不随阶数关闭,即便阶数远超基准所用。

启示与展望

演示范围是六个稠密异配图上的直推式节点分类,使用存储并复用的划分,覆盖从不到一千节点到四万六千节点、平均度从8到923的规模;分析限于流水线的线性部分,算子参数在一半验证集上拟合。

作者指出,频带拥挤本身不能预测聚合是否有益,起作用的是被削频带里有多少标签能量,而这一量在HM-categories上也不是完整预测因子;注意力在传播之前何时与谱对齐、何时学到节点专属权重仍待回答,Chebyshev滤波器为何不能单独复现谷带来的增益也尚未解释。