Liu Yang

脉冲神经网络做音视频融合时，跨模态注意力内部缺少按输入调节信息流的手段。GSCANet 在双流 Spikingformer 编码之上加入门控脉冲跨模态注意力，把门放在注意力输出、脉冲发放之前，并用查询与值拼接成的信号驱动。在 CREMA-D 与 RAVDESS 上，这一配置比无门控基线分别高 2.15 和 1.05 个百分点；门控位置与驱动信号都会改变效果。

脉冲神经网络做音视频融合时，跨模态注意力内部缺少按输入调节信息流的手段。GSCANet 在双流 Spikingformer 编码之上加入门控脉冲跨模态注意力，把门放在注意力输出、脉冲发放之前，并用查询与值拼接成的信号驱动。在 CREMA-D 与 RAVDESS 上，这一配置比无门控基线分别高 2.15 和 1.05 个百分点；门控位置与驱动信号都会改变效果。