脉冲跨模态注意力加了门控:门放在脉冲发放前,CREMA-D 准确率升 2.15 个百分点
脉冲神经网络做音视频融合时,跨模态注意力内部缺少按输入调节信息流的手段。GSCANet 在双流 Spikingformer 编码之上加入门控脉冲跨模态注意力,把门放在注意力输出、脉冲发放之前,并用查询与值拼接成的信号驱动。在 CREMA-D 与 RAVDESS 上,这一配置比无门控基线分别高 2.15 和 1.05 个百分点;门控位置与驱动信号都会改变效果。
脉冲神经网络做音视频融合时,跨模态注意力内部缺少按输入调节信息流的手段。GSCANet 在双流 Spikingformer 编码之上加入门控脉冲跨模态注意力,把门放在注意力输出、脉冲发放之前,并用查询与值拼接成的信号驱动。在 CREMA-D 与 RAVDESS 上,这一配置比无门控基线分别高 2.15 和 1.05 个百分点;门控位置与驱动信号都会改变效果。
热电材料筛选需要知道zT随温度变化的整条曲线,因为峰值大小和位置决定可用工作温区,而逐点测量S、σ、κ代价很高。一种以zT为主任务、把S、σ、κ、PF作为辅助任务的多任务模型,只输入成分描述符和温度,就同时输出这些性质并重建zT。在按材料分组的十折留出评估中,zT的R²为0.8765,峰值温度平均绝对误差14.07 K;四个文献来源材料的24个外部点上R²为0.9755。
该工作提出 JMLLM——一个整合交替翻译、词加密、特征坍缩与有害注入四种隐蔽策略、覆盖文本、视觉与语音三种模态的越狱框架,并发布包含 1,250 条文本与语音对抗提示和 150 张有害图像的 TriJail 数据集,在 16 个主流大模型与 AdvBench、TriJail 两个数据集上以单次查询 24.65 秒、多轮 6 次查询取得领先的攻击成功率,同时提出 Harmful Separator 防御策略以降低攻击成功率。
已读完全部报道