跳到主要内容
返回时间线
arXiv来源发表:

M²PFN把冻结的TabPFN改造成多模态阿尔茨海默病预测器,在ADNI上取得65.55%宏F1并在两个外部队列零重训迁移

核心概要

该工作提出M²PFN,一个端到端框架,通过可微推理把任务梯度回传到3D-MRI与表格编码器、用解耦与对比目标将两种模态对齐到与上下文学习先验匹配的共享子空间,并以可学习门控捷径并入冻结的纯表格预测;在ADNI(n=2240,CN/MCI/AD三分类)上达到65.55%宏F1与82.21%宏AUC,超过所比较的单模态与多模态基线,仅替换预测头即可回归基线MMSE(1250人子队列,测试MAE 1.743),并在OASIS-3与SCAN两个外部队列上无需重训取得最佳AUC与最低MMSE MAE,且在认知量表更换时仍可迁移。

Source-provided article image: M$^2$PFN: End-to-End Disentangled Alignment for Generalizable Multimodal In-Context Learning in Alzheimer's Disease
Figure 1 ·

Figure 1: Overview of the proposed M 2 PFN framework (§ 3 ). (a) Overall architecture. (b) Disentangler module for separating modality-specific and shared representations. (c) Class prototype alignment for encouraging cross-modal consistency. (d) Differentiable TabPFN backbone enabling end-to-end gradient propagation through the frozen PFN engine.

arXiv

深度剖析

M²PFN把表格基础模型TabPFN的上下文学习能力扩展到多模态阿尔茨海默病分析,使冻结的ICL引擎在测试时保持其上下文机制,同时让端到端训练把3D-MRI与表格编码器塑造成该引擎可利用的特征。 此前结合影像与表格数据的多模态AD方法在跨队列泛化上受限,而TabPFN的元训练先验是合成表格先验,与影像导出特征的统计结构并不天然匹配;该工作通过可微推理穿过TabPFN的transformer并回传任务梯度,直接针对这一不匹配问题。 摘要报告在ADNI(n=2240,三分类CN/MCI/AD)上取得65.55%宏F1与82.21%宏AUC,并称超过一组全面的单模态与多模态基线;具体基线清单与统计检验未在加载文本中给出。

该框架通过解耦与对比目标把两种模态对齐到与ICL引擎先验匹配的共享子空间,并用可学习门控捷径并入冻结的纯表格预测。 对齐目标不是泛化的多模态融合,而是明确以匹配上下文学习引擎的先验为设计目标,同时保留一条纯表格预测通路作为门控捷径。 摘要以方法描述形式给出该设计,未提供消融数值或各组件贡献的定量分解。

同一架构仅替换预测头为TabPFN回归器即可回归基线MMSE,在1250人子队列上测试MAE为1.743,优于所有多模态基线。 表明该架构不局限于分类任务,可通过换头迁移到连续认知评分预测,且性能超过所比较的多模态基线。 摘要报告测试MAE 1.743与1250人子队列规模,并称优于每一个多模态基线;未给出置信区间或逐基线数值。

在OASIS-3与SCAN两个外部队列上无需重训,M²PFN取得所有基线中最佳AUC与最低MMSE MAE,并且在认知量表更换时仍能迁移。 把跨队列泛化从同量表设定扩展到量表更换的设定,且不依赖外部队列重训。 摘要陈述外部队列结果与量表更换下的迁移,但未给出具体AUC、MAE数值或外部队列样本量。

启示与展望

该结果面向以3D-MRI与表格数据为输入、以CN/MCI/AD分类或MMSE回归为任务的阿尔茨海默病研究场景,适用于ADNI训练、OASIS-3与SCAN外部验证这类多队列设置;其价值在于让冻结的ICL引擎在测试时保留上下文机制,同时让编码器被训练成该引擎可利用的特征,因此对希望复用表格基础模型而不重训外部队列的研究者与模型开发者最直接。

加载文本为摘要级内容,未包含图表、基线逐项数值、消融实验与统计检验,因此各组件(可微推理、解耦对齐、门控捷径)的相对贡献、外部队列的具体AUC与MAE、以及量表更换迁移的幅度仍是待核实的开放问题;此外,65.55%宏F1在三分类任务中的绝对水平如何解读,需要结合类别分布与临床可用阈值进一步判断。

来源