脑激活图解码不再只给任务名:NiCLIP借认知本体同时输出任务、概念与域
核心概要
脑激活图的功能解码有了新做法:NiCLIP把神经影像文献文本与坐标生成的激活图放进同一潜在空间做对比学习,再借认知本体把相似度转成任务、概念和域的后验概率。此前常用的相关型解码器和GC-LDA依赖预计算元分析图与固定词表,只给出任务级预测。在人类连接组计划七个域的组水平图上,最佳配置的任务召回为62.86%,而Neurosynth与GC-LDA最高为20.71%;同一模型在个体水平激活图上表现明显下降。
脑激活图的功能解码有了新做法:NiCLIP把神经影像文献文本与坐标生成的激活图放进同一潜在空间做对比学习,再借认知本体把相似度转成任务、概念和域的后验概率。此前常用的相关型解码器和GC-LDA依赖预计算元分析图与固定词表,只给出任务级预测。在人类连接组计划七个域的组水平图上,最佳配置的任务召回为62.86%,而Neurosynth与GC-LDA最高为20.71%;同一模型在个体水平激活图上表现明显下降。
脑激活图现在可以被解码成任务、概念和域三个层次的认知标签,而不只是任务名。 此前的功能解码主要给出任务级预测,相关型解码器依赖预计算的元分析图和固定词表,GC-LDA则完全无监督、并非为分类或预测精度优化。 在人类连接组计划七个任务fMRI域(情绪、赌博、语言、运动、关系、社会、工作记忆)的组水平图上,最佳配置的任务召回为62.86%、概念召回43.57%、域召回90.48%,而Neurosynth与GC-LDA的任务召回最高为20.71%。
解码精度取决于训练文本用全文还是摘要,以及本体是否经过整理。 用摘要训练时各语言模型的文本—脑关联指标都低于用全文训练,而完整的Cognitive Atlas本体在部分配置下召回极低甚至为零。 全文加BrainGPT-7B-v0.2的Recall@10为33.56±4.12、Recall@100为71.95±4.18、Mix&Match为90.04±1.66,摘要条件下同一模型为24.01±1.84、61.98±4.28、85.82±1.84;整理后的精简本体在所有模型上都优于原始本体。
模型把文本与脑图的相似度转成可传播的概率,从而给出概念和域的输出。 对比学习此前主要用于文本到脑的关联检索,没有系统评估脑到文本的解码,也没有把结果映射到结构化认知词表。 文本嵌入由预训练大语言模型给出,脑图由激活坐标经MKDA建模并用DiFuMo 512分区降维,两者经CLIP编码器进入共享潜在空间,余弦相似度经softmax得到似然,再结合任务在文献中的先验得到后验,概念与域由noisy-OR沿任务—概念—域映射聚合。
在六个解剖感兴趣区上,模型给出的预测带有明显的区域选择性。 与组水平密集图相比,感兴趣区上的最高预测任务与次高任务之间的概率差距更明显。 右侧颞顶联合区对社会认知/心理理论任务的预测为98.5%,杏仁核与情绪加工任务的关联为65.5%,岛叶与疼痛监测/辨别为34.9%并映射到情绪域76.9%,纹状体与语义任务为52.1%。
当前验证覆盖人类连接组计划七个任务域的组水平激活图、六个元分析解剖感兴趣区,以及787名被试的个体水平图;作者明确建议现阶段主要用于组水平解码,并指出模型不应被用于解码高噪声的个体水平激活图。作者提出的下一步包括把未阈值统计图与个体标注图像纳入训练集、改进认知本体,以及在独立任务fMRI数据集上做更广泛的跨数据集验证。
作者指出训练样本仅两万余对,远小于通常的CLIP训练规模;模型主要基于正激活坐标训练,负激活的解码需谨慎解释;长文文本以分块嵌入平均表示,无法保留文本的时序结构;训练用的长文与解码用的短本体条目之间存在分布差异;任务先验按文献中的出现频率设定,对稀有任务可能并非最优;本体映射来自研究者意见,任务名称与定义尚未标准化。作者还报告,在个体水平图上任务召回仅为38.19%,而基于图像的分类方法在同一批个体图上可超过90%。