跳到主要内容
返回时间线
arXiv来源发表:

FlatNSD 通过调整层束而非重连图结构缓解过挤压,在长程依赖基准上取得领先

核心概要

该工作提出层束有效电阻(sheaf effective resistance),将过挤压从图拓扑瓶颈重新解释为可随层束调整的量,并证明在平坦向量丛下过挤压敏感度被层束有效电阻上界约束;据此构造的 FlatNSD 在不改变原图拓扑的前提下隐式降低总层束有效电阻,在 TreeNeighborsMatch、ECHO-Synth 与 Graph Transfer 等压力测试中表现良好。

Source-provided article image: Mitigating Over-squashing without Rewiring: A Sheaf Effective Resistance Perspective
Figure 1 ·

Figure 1 : Training accuracy for the TreeNeighborsMatch task. Results for GCN, GIN, GAT, and GGNN are from Alon and Yahav (2021) . Results for BuNN are from Bamberger et al. (2025) . Only FlatNSD-SAGE achieves perfect accuracy for all r r .

arXiv

深度剖析

提出层束有效电阻,将经典有效电阻推广到依赖图上层束的量,并给出平坦向量丛下的闭式表达。 经典有效电阻只由图拓扑决定,而层束有效电阻随限制映射变化,因此可在固定图上调节。 定义 4.1 与命题 4.2 给出闭式公式;当层束为平凡层束时退化为经典有效电阻,与既有结果一致。

证明平坦向量丛下过挤压敏感度(Jacobian 意义)被与层束有效电阻相关的量上界约束。 此前过挤压主要被归因于图拓扑,这里把瓶颈位置转移到层束上。 定理 4.1 给出非二部图上的上界,并扩展到二部图(定理 4.3);命题 4.3 刻画了严格降低有效电阻的平坦丛存在性。

构造 FlatNSD——NSD 在平坦向量丛下的消息传递变体,并显示其隐式调节总层束有效电阻。 表明消息传递范式本身配合合适限制映射即可缓解过挤压,无需脱离消息传递或重连图。 TreeNeighborsMatch 上 FlatNSD-SAGE 达到 100% 准确率,与 CSNN 持平并超过 BuNN 与经典基线;训练中总层束有效电阻与准确率呈强负相关(Spearman)。

在真实与合成基准上,FlatNSD 与重连方法及图 Transformer 竞争,并识别出限制映射参数化与 stalk 维度是关键架构选择。 给出层束模型性能差异主要来自限制映射参数化而非底层架构的证据。 异质图节点分类中 FlatNSD 与 BuNN、CSNN 接近;图分类上相对平均提升显著;ECHO-Synth 的 ecc 任务上优于次优基线 CSNN 超过 30%。

启示与展望

该结果面向使用平坦向量丛的消息传递 GNN,适用于过挤压主导的长程依赖场景,如 TreeNeighborsMatch、ECHO-Synth 与 Graph Transfer 这类压力测试。对希望在不重连图的前提下缓解过挤压的研究者与工程师,它提供了以限制映射为调节手段的路径,并给出层束有效电阻作为诊断量。作者指出 FlatNSD 被有意保持简单,用于隔离并验证机制,而非替代更具表达力的层束架构。

作者提到 FlatNSD 可被更强架构增强,例如多层束并行、有向图层束或每节点可选择收发消息的层束;这些方向的效果尚待检验。真实数据上有效电阻与准确率的相关弱于合成实验,作者将其归因于真实任务并非仅由过挤压主导。此外,作者指出当时 BuNN 代码未公开,直接对比受限。读者可关注层束曲率与层束谱隙等未来方向是否带来更完整的图景。

来源