ChronoSpike 用可学习 LIF 神经元与轻量 Transformer 时间编码器,在三个大规模动态图基准上平均提升 2.0% Macro-F1 与 2.4% Micro-F1,并比循环方法训练快 3-10 倍
相关研究与后续进展核心概要
该工作提出 ChronoSpike,一种自适应脉冲图神经网络,将可学习 LIF 神经元与逐通道膜动态、对连续特征的多头空间注意力聚合以及轻量 Transformer 时间编码器结合,在三个大规模基准上平均超过十二个最先进基线 2.0% Macro-F1 与 2.4% Micro-F1,训练速度比循环方法快 3-10 倍,参数量恒定为 105K 且与图规模无关,并给出膜电位有界性、收缩因子 ρ<1 下梯度流稳定性与 BIBO 稳定性的理论保证,可解释性分析显示异质时间感受野与 83-88% 稀疏度下的学习首因效应。
Figure 1: Overview of ChronoSpike. The dynamic graph is represented as a sequence of snapshots. At each time step, node features are aggregated from sampled neighborhoods using a multi-head attentive spatial aggregator and encoded into spike signals via adaptive LIF neurons. Temporal dependencies across snapshots are captured by a lightweight Transformer-based temporal aggregation module with learnable positional encodings. The final node representations are used for prediction.
arXiv深度剖析
ChronoSpike 将可学习 LIF 神经元与逐通道膜动态、多头空间注意力聚合和轻量 Transformer 时间编码器整合为一个自适应脉冲图神经网络,用于同时刻画动态图的结构关系与时间演化。 既有方法面临核心权衡:注意力方法以 O(T^2) 复杂度换取表达力,循环架构则受梯度病理与稠密状态存储困扰;脉冲神经网络虽具事件驱动效率,却受限于顺序传播、二值信息损失与缺乏全局上下文的局部聚合。该设计针对这一权衡提出组合方案。 摘要给出架构组件与复杂度刻画:O(T·d) 激活/状态内存,外加每节点 O(T^2) 注意力项,并说明该附加项在所评估的时间跨度内保持较小。
在三个大规模基准上,ChronoSpike 平均超过十二个最先进基线 2.0% Macro-F1 与 2.4% Micro-F1,同时训练速度比循环方法快 3-10 倍,参数量恒定为 105K 且不随图规模增长。 该结果把脉冲图学习的效率优势与精度优势放在同一组对比中报告,而非仅强调事件驱动效率。 证据来自摘要所述的三个大规模基准与十二个基线对比,报告的是平均值;摘要未给出逐数据集数值、方差或显著性检验。
作者为膜电位有界性、收缩因子 ρ<1 下的梯度流稳定性以及 BIBO 稳定性提供理论保证。 这为脉冲动态在动态图上的训练稳定性提供了形式化刻画,而不只是经验性观察。 摘要明确列出三项理论保证,但未给出定理编号、证明细节或假设条件。
可解释性分析揭示异质时间感受野与学习到的首因效应,稀疏度为 83-88%。 该分析把模型行为与时间偏好联系起来,为脉冲动态的可解释性提供观察窗口。 证据为摘要所述的可解释性分析结果,具体分析协议与统计口径未在摘要中展开。
启示与展望
该工作面向需要同时建模结构关系与时间演化的动态图表示学习场景,适用于图规模变化而参数量需保持恒定的设定:摘要称参数量恒为 105K 且与图规模无关,激活/状态内存为 O(T·d),另有每节点 O(T^2) 注意力项,且该附加项在所评估的时间跨度内保持较小。其效率主张针对循环方法,摘要称训练快 3-10 倍。理论保证覆盖膜电位有界性、收缩因子 ρ<1 下的梯度流稳定性与 BIBO 稳定性。可解释性分析给出异质时间感受野与 83-88% 稀疏度下的首因效应。代码已公开。
摘要层面仍待明确的问题包括:三个大规模基准各自的数据集名称、规模与时间跨度;十二个基线的具体构成与调参协议;2.0% Macro-F1 与 2.4% Micro-F1 平均提升的方差与显著性;3-10 倍训练加速的硬件与批设置;O(T^2) 注意力项在更长跨度下是否仍保持较小;三项理论保证所依赖的假设与证明细节;83-88% 稀疏度与首因效应的度量方式。这些属于范围与开放问题,而非对工作的否定。
