跳到主要内容
返回时间线
arXiv来源发表:

脑MRI基础模型换数据集就掉点:不是记住了来源,而是每个数据集把序列编码在不同方向

导语

在17个公开脑MRI数据集和8种冻结表示上,序列在每个数据集内部都能被识别,但换到没见过的数据集就大幅掉点,原因是各数据集把序列差异编码在不同方向上,而不是记住了数据来源。

AI-generated editorial illustration: Dataset-Specific Encoding of Image Content Underlies Cross-Dataset Failure in Brain MRI Foundation Models

正文

冻结的脑MRI特征在新数据集上会失去区分能力,即使这些特征在单个数据集内部能可靠区分T1、T1c、T2和FLAIR这些成像序列。 此前这类跨数据集失败通常被归因于特征记住了每张扫描来自哪个数据集,而来源数据集确实可以从脑MRI中解码出来。 在17个公开数据集和8种冻结表示上,每种表示在数据集内部区分序列的平衡准确率为0.84到0.97,但用16个数据集训练、在第17个上测试时,基线编码器和两个脑专用模型降到0.44到0.55,只有3DINO和SAM-Med3D保持在0.72和0.69。

失败的原因不是数据集整体发生了平移,而是各数据集用来分开序列的方向彼此不一致。 如果每个数据集只是整体位移,减去各数据集的均值就应该恢复迁移能力。 两种中心化处理都没有显著改变任何表示的序列迁移,多数还略有下降;而方向一致性越高,序列越容易迁移,跨全部表示和留出数据集的Spearman相关系数为0.66。

用INLP、LEACE、CORAL或对抗训练事后抹掉数据集信号并不能改善序列迁移,因为这些方向本身就包含各数据集内部的序列差异。 这些方法在训练数据集内部确实把数据集可解码性从0.84到0.95压到0.03到0.26,CORAL压到至多0.11。 32个方法—表示组合没有一个显著提升序列迁移,多数反而下降,其中7个显著下降;LEACE之后序列可解码性在每个网络表示上下降0.14到0.24,而抹掉15个随机方向只损失0.01到0.05。

只有在大规模多器官数据上预训练的模型才把序列编码得足够一致,从而能跨数据集迁移。 此前在脑MRI上的一项对照发现预训练相对未训练网络没有可靠优势,但只测了一个架构家族的模型。 3DINO和SAM-Med3D在全部10个留出数据集上都超过未训练CNN,而脑专用的BrainIAC和BrainFM相对未训练CNN没有显著优势;把3DINO的随机权重版本拿来只有0.50,与基线编码器相当。

接下来

这套诊断面向在公共脑MRI汇总数据上使用冻结编码器的研究者:序列是全部17个数据集共有的唯一内容标签,性别在10个数据集上作为第二个解剖标签。方向一致性由类别均值算出,可在部署前用训练数据集上的池一致性排序表示,也可在无标签的新数据集上用聚类一致性提示哪些数据集会失败;中心化检验在有标签数据集上运行,用来判断事后对齐是否值得尝试。若手头有少量目标标签,直接测探针准确率是更直接的检查。

序列是全局且相对容易的性质,性别只在10个数据集上、效应更弱,去除方法也只用了LEACE和CORAL。无标签失败预测假设新数据集的序列数已知,相关性只是中等。迁移用冻结特征上的线性探针测量,非线性探针或微调可能不同。配对检验只有10个多序列留出数据集,统计功效有限;池一致性排序基于11个点。每个编码器使用自己预训练时的输入缩放,模型间差异可能部分来自预处理。基础模型的预训练数据没有完整记录,重叠控制只能排除已知或可能包含的数据集。

来源