音频扩散模型直接吃fMRI信号：跳过中间嵌入，重建声学与语义指标同时改善
核心概要
MAAS把预训练音频扩散Transformer的条件输入从文本嵌入换成按脑区划分的fMRI响应，不再先训练一个解码器去预测CLAP或YamNet等外部刺激表示。在7T fMRI数据上，它与两阶段fMRI到潜变量条件化等基线相比，在CLAP相似度、成对识别准确率和Mel-SSIM等声学与语义指标上均取得一致改善。该框架还借助以听觉皮层计算模型为基础的保真度指标，量化各听觉皮层区域对重建音频的贡献。
深度剖析
音频重建不再需要先把脑活动翻译成CLAP或YamNet这类中间嵌入再交给生成模型，预训练的音频扩散Transformer可以直接以按脑区组织的fMRI响应为条件生成声音。 此前的脑到音频流程普遍采用两阶段策略，先把神经活动映射到中间深度网络嵌入，再据此引导生成模型；视觉领域已有直接条件化的尝试，但尚未扩展到音频扩散模型。 在7T fMRI数据集上，MAAS在CLAP相似度、成对识别准确率和Mel-SSIM上均高于包括两阶段fMRI到潜变量条件化在内的基线，同时log-mel距离最低。
脑信号通过一条与文本并行的专用交叉注意力通路进入扩散Transformer，每个脑区保留自己的投影，因此不同皮层区域对生成声音的影响可以被单独拆开观察。 Stable Audio这类模型原生只接受T5文本嵌入，其旋转位置编码只作用于潜变量自注意力查询、键值头数少于查询头，使面向UNet的适配器无法直接套用。 实验使用5名被试、288个1秒自然声音的7T数据集，按四折交叉验证在每折72个留出声音上评估，并配有打乱脑—刺激配对和仅用神经信号检索的对照。
启示与展望
演示范围是5名被试、288个1秒自然声音的7T fMRI数据集，采用四折交叉验证，每折72个留出声音用于评估；作者指出该数据集规模限制了重建结果的泛化性。
fMRI的BOLD信号在数秒尺度上积分神经活动，输入MAAS的是时间上被模糊的听觉皮层活动快照；作者表示注意力路由与消融结果之间的关系仍需进一步研究。