跳到主要内容
检索

# MAAS多区域听觉合成框架

1 篇关联报道

订阅更新
  1. arXiv

    音频扩散模型直接吃fMRI信号:跳过中间嵌入,重建声学与语义指标同时改善

    MAAS把预训练音频扩散Transformer的条件输入从文本嵌入换成按脑区划分的fMRI响应,不再先训练一个解码器去预测CLAP或YamNet等外部刺激表示。在7T fMRI数据上,它与两阶段fMRI到潜变量条件化等基线相比,在CLAP相似度、成对识别准确率和Mel-SSIM等声学与语义指标上均取得一致改善。该框架还借助以听觉皮层计算模型为基础的保真度指标,量化各听觉皮层区域对重建音频的贡献。

已读完全部报道