脉冲跨模态注意力加了门控：门放在脉冲发放前，CREMA-D 准确率升 2.15 个百分点
核心概要
脉冲神经网络做音视频融合时，跨模态注意力内部缺少按输入调节信息流的手段。GSCANet 在双流 Spikingformer 编码之上加入门控脉冲跨模态注意力，把门放在注意力输出、脉冲发放之前，并用查询与值拼接成的信号驱动。在 CREMA-D 与 RAVDESS 上，这一配置比无门控基线分别高 2.15 和 1.05 个百分点；门控位置与驱动信号都会改变效果。
深度剖析
音视频脉冲网络在跨模态注意力里多了一个按输入调节信息流强弱的门，门放在注意力聚合完成之后、脉冲发放之前。 此前的脉冲跨模态注意力把查询、键、值投影聚合后直接送入脉冲神经元，没有专门机制决定当前跨模态表示应以多强影响随后的脉冲响应。 在同一骨干上，注意力输出门控在 CREMA-D 上把准确率从无门控的 76.34% 提到 78.49%，在 RAVDESS 上从 80.70% 提到 81.75%。
门由每个注意力头各自的小型多层感知机生成，输出经 Sigmoid 压到 0 到 1 之间，再逐元素乘到该头的注意力累加结果上。 驱动信号取查询与值的拼接，查询代表主模态需要什么，值代表辅助模态送来什么，两者一起进入门生成器。 在四个数据集上，查询与值联合驱动都优于只用查询或只用值；在 CREMA-D 上比只用查询高 3.36 个百分点。
启示与展望
演示范围限于音视频分类：两个同步录制的情感数据集 CREMA-D 与 RAVDESS，以及类别级配对的 UrbanSound8K-AV 与 CIFAR10-AV，全部在 Brain-Cog 框架、单块 A100 上以 4 个仿真时间步训练。
门控并非在每个位置、每种输入条件下都带来提升，块输出门控在 RAVDESS 上退化为常数 0.5，准确率低于无门控基线；在模态缺失测试中，遮住音频时视频单模态准确率在 CREMA-D 上升 2.69 个百分点，但遮住视觉时音频单模态准确率在 CREMA-D 下降 1.08 个百分点，RAVDESS 上两个方向都下降。作者把门控解释为表示层面的调节，而非缺失模态恢复机制。