脉冲网络把谷氨酸比GABA更贵写进损失:抑制放电被优先压掉,准确率反升8.6个百分点
核心概要
可训练的脉冲神经网络此前把能耗当作与突触类型无关的通用惩罚,而皮层中谷氨酸能传递的ATP开销明显高于GABA能传递。把这一成本不对称作为拉格朗日惩罚嵌入代理梯度训练,在遵循Dale定律的循环微回路上训练后,单一标量惩罚自动对兴奋通路施加更强梯度压力。在Spiking Heidelberg Digits基准上,无惩罚网络收敛到70.9%的抑制主导状态,轻度代谢压力下准确率升至79.5%,同时每样本能耗从86,519 ATP单位降到16,019。
深度剖析
代谢惩罚在脉冲网络里起的是结构正则化作用,而不只是给能耗设上限:轻度压力把网络从抑制主导的低效状态里推出来,准确率和能耗同时改善。 不加惩罚时网络收敛到70.9%的验证准确率,抑制放电率停在每步0.70个脉冲,I→E权重随训练持续增大,群体编码维度偏低。 在固定循环连接密度0.10、16个惩罚强度取值上训练,峰值准确率出现在惩罚强度10^-5处,为79.5%,比无惩罚基线高8.6个百分点;同一工作点每样本能耗从86,519 ATP单位降到16,019,约5.4倍。
惩罚强度继续加大后,网络进入崩溃区,准确率与能耗一起趋近于零,因为循环回路整体停止放电。 在用于二维扫描的拐点惩罚强度5×10^-6处,准确率为78.8%,能耗下降3.5倍,说明高准确率与大幅节能可以同时落在拐点附近。 在惩罚强度10^-3处回路完全静默;信息效率(每ATP比特数)在有效区间内达到峰值,该工作点准确率仍为75.1%。
单一成本不对称还自发产生按通路排序的修剪次序,兴奋性连接最先被消除,抑制性连接抵抗最久。 没有任何通路专属先验,四条循环通路(E→E、E→I、I→E、I→I)连同输入投射和读出层接受同一条梯度规则。 惩罚强度10^-6时E→E已被修剪71.3%,E→I为67.0%,输入为49.9%,而I→E仅修剪23.0%、I→I为54.0%;到10^-3时E→E达100%,I→E为64.0%。
这些结构特征在成本比与结构密度的二维扫描中保持稳定,密度是主要的定量变化轴。 扫描覆盖5个谷氨酸/GABA成本比(1.0至2.0)与15个初始循环密度(0.05至1.0),共75种条件,均固定在惩罚强度5×10^-6。 75种条件下验证准确率在64.9%至79.2%之间,均值74.3%±3.9%;E→E修剪比例始终落在82.2%至92.5%,I→E在38.9%至73.9%之间。
启示与展望
结论来自Spiking Heidelberg Digits这一20类英语与德语语音数字基准上的仿真训练,网络为800个兴奋性与200个抑制性漏积分放电神经元组成的循环微回路,指标取最后5轮、跨3个随机种子的平均。作者提出,把该微回路扩展到含PV、SST、VIP等多种中间神经元亚型的更大网络,或在明确需要去抑制控制的任务上训练,是检验抑制消除是否普遍的下一步。
作者指出,有效区间之外准确率在较窄的惩罚强度范围内陡降,学习率调度、梯度裁剪或自适应惩罚可能平滑这一转变。能量模型是一阶近似,未包含突触囊泡耗竭与回收、星形胶质细胞空间约束以及放电率与氧化ATP需求之间的非线性关系;仅惩罚权重幅度无法清除突触前神经元已沉默的“僵尸突触”,需要加入与活动无关的突触维持成本。训练使用代理梯度的BPTT作为规范优化工具,而非生物学习规则,生物局部规则能否收敛到相同解仍待检验。
