跳到主要内容
返回时间线
arXiv来源发表:

医学影像预训练不再只看报告:DICOM采集参数进入对比学习,CT零样本分类提升1.41个点

核心概要

医学视觉-语言预训练依赖成对的影像与放射报告,但扫描仪和采集协议的差异会削弱迁移。Meta-CLIP把DICOM头里被忽视的结构化采集信息用作训练时的先验:以数值与类别字段上的核函数定义有界的两两间隔,在预训练中重新加权跨模态负样本,推理时仍走标准双编码器、不需要元数据。在CT-RATE上,其宏AUROC比CT-CLIP高1.41个点,95%配对自助法置信区间为0.96至1.85个点;在五个胸片基准中的四个上取得最高宏AUROC。

AI-generated editorial illustration: Meta-CLIP: Metadata-Conditioned Contrastive Learning for Zero-Shot Disease Inference

深度剖析

医学影像的视觉-语言预训练开始把扫描仪与采集协议这类采集条件当作训练信号,而不只依赖报告文本提供的临床语义。 此前的做法主要丰富临床语义,DICOM头中的结构化采集信息基本未被利用,而扫描仪和采集协议的差异会损害迁移。 在CT-RATE上,Meta-CLIP的宏AUROC比CT-CLIP高1.41个点,95%配对自助法置信区间为0.96至1.85个点。

做法是在预训练阶段改变负样本的权重,让采集条件相近的研究之间被区分得更细。 数值与类别DICOM字段上的核函数定义一个有界的两两间隔,该间隔提高采集相似负样本的贡献,从而强调共享成像条件的研究之间的区别。 该核在图像-文本优化过程中保持固定,推理沿用标准双编码器架构且不需要元数据;评估覆盖胸片与胸部容积CT上的零样本分类、外观扰动、定位和表示分析。

采集元数据作为训练时先验的效果在另一套CT骨干上也做了探索性检验。 除CT-RATE与胸片基准外,还进行了BrgSA评估,把分析扩展到另一个CT骨干。 在五个胸片基准中,Meta-CLIP在其中四个上取得最高宏AUROC。

启示与展望

已展示的范围是胸片与胸部容积CT上的零样本分类、外观扰动、定位与表示分析,以及一个扩展到另一CT骨干的探索性BrgSA评估;推理沿用标准双编码器且不需要元数据。

CT-RATE上的提升以1.41个点及0.96至1.85个点的95%配对自助法置信区间报告,胸片基准为五中四个最高;BrgSA评估被明确标为探索性,代码将在发表后公开。