医学CLIP不再只认高层语义：拆出纹理与属性两条支路，多异常检测准确率提升10.2%
核心概要
医学CLIP此前主要对齐高层语义特征，对纹理、实体顺序和属性这类低层信息捕捉不足，在细粒度任务上受限。Deco-CLIP把图像与文本各拆成两条支路：一路用CT-CLIP预训练的ViT提取语义，一路用MAE预训练的ViT提取纹理，文本编码器后三层分叉并共享键值、使用不同查询，再配合阈值自适应样本挖掘与正则化注意力。在CT-RATE的零样本任务上，多异常检测准确率提升10.2%，报告到体数据检索召回率提升16.2%。
深度剖析
医学图像与放射报告的跨模态对齐不再只依赖高层语义，纹理、实体顺序和属性这类低层信息被单独建模。 此前的医学CLIP用单一图像编码器和单一文本编码器对齐图文特征，主要区分高层语义，在纹理、空间关系和属性识别上表现受限。 以CT-CLIP为对照的评估显示，把非病灶肝脏图像与病灶图文对混合匹配时模型无法识别病灶图像，反转肝脏与病灶顺序或交换肺叶与肺的属性词后也无法正确匹配。
图像侧由两个不同预训练策略的ViT分别承担语义与纹理提取，文本侧在最后三层分成两支并共享键值向量。 两支文本分支使用不同查询向量，得到分布不同的注意力图，正则化注意力机制约束两张注意力图正交，使两支关注不同语义标记。 注意力图可视化显示，面向高层语义的分支对血管结构、非特异性低密度结节、2毫米直径结节等句子语义核心赋予更高权重，另一支则强调自然、右上叶、左肺等属性与空间关系词。
训练时按模态内相似度自适应挑选语义相近样本组成小批次，再做二次对比学习对齐细粒度特征。 常规对比学习在整批样本上计算相似度，细粒度差异容易被大量不相关样本淹没。 相似度阈值设为0.75，由图像与文本各自的模态内相似度矩阵生成二值掩码，二次对比学习只在掩码选中的样本上计算损失。
启示与展望
评估在CT-RATE数据集上进行，包含21304名患者的3D胸部CT体数据与对应放射报告，其中20000名用于训练、1304名用于测试，每个体数据标注18类异常。微调随机选取训练集中30%的样本即6000名患者，批大小为10，学习率1.25e-6，分两阶段训练。方法面向零样本多异常检测与报告到体数据检索两类任务，作者表示代码将公开。
作者报告的是CT-RATE上的零样本结果，多异常检测准确率提升10.2%、报告到体数据检索召回率提升16.2%均来自该数据集；消融显示单独使用MAE图像编码器与其文本分支时两项任务表现明显较差，需要两支路组合才达到最佳表现。