跳到主要内容
返回时间线
IEEE Transactions on Medical Imaging来源发表:

医学对比学习不再强求增广不变:ProbSSL把嵌入写成分布,BTCV平均Dice达84.89

核心概要

医学图像自监督对比学习默认同一图像的不同增广视图应共享同一语义表示,但旋转、灰度扰动等增广会抹掉细微却关键的解剖与病理线索,强行对齐反而压掉任务相关信息。ProbSSL把每幅图像的嵌入建模为高斯分布,均值承载共享语义、方差记录增广带来的变化,并用分布间KL散度做对齐,使变化大的维度对齐压力自动减弱。在CT数据上预训练后迁移到BTCV、MM-WHS、CC-CCII与BraTS,ProbSSL在四个下游任务上的平均指标均高于所比较的通用与医学自监督方法,其中BTCV平均Dice为84.89。

Source-provided article image: Mitigating Spurious Invariance in Contrastive Learning: A Probabilistic Self-Supervised Learning Framework for Medical Image Analysis
arXiv

深度剖析

医学图像对比学习不再把同一图像的不同增广视图压成同一个确定向量,而是允许每个嵌入带一个随增广变化的方差。 常规对比学习要求正样本对在表示空间严格对齐,这一不变性假设在医学图像上可能变成虚假不变性,因为空间变换会扭曲解剖结构、强度扰动会掩盖病理信号。 在仅保留对比损失的受控消融中,增广强度从A0升到A1、A2时,确定性对比基线在BTCV上的Dice由81.07降到80.75再降到80.65,而ProbCL由83.02升到83.20再升到83.27。

对齐发生在分布层面:均值按方差的倒数加权靠近,方差本身也被拉近,因此增广越不确定的维度受到的约束越弱。 此前把嵌入当作确定点的做法只能整体对齐,无法区分哪些维度可靠、哪些维度被增广污染。 在BTCV、MM-WHS、CC-CCII与BraTS四个下游任务上,同一损失在概率化设置下的得分均高于其确定性版本,例如对比损失在BTCV上由81.07升至83.02、在BraTS上由75.98升至78.95。

对比、预测与生成三类自监督目标共用同一个概率隐空间,分别约束全局语义一致性、几何变换预测与掩码区域重建。 此前的多任务自监督方法把不同 pretext 任务并列相加,各自作用于确定嵌入。 在BTCV与MM-WHS上逐项加入DCL、SCL、先验项以及ProbPL、ProbGL后,完整ProbSSL取得最高得分,BTCV平均Dice为84.89、MM-WHS平均Dice为91.57。

启示与展望

演示范围是三维医学图像:在1,589例无标注CT上预训练,再迁移到BTCV、MM-WHS、CC-CCII三个CT任务与BraTS这一MRI任务,评价指标为分割Dice、HD95与分类准确率。

低信噪比、运动或条纹伪影、形态变异大与长尾病种下性能仍可能下降;旋转预测与掩码重建这两类pretext并非对所有模态和器官都同样有益;对角协方差忽略了维度间相关;预训练与消融的规模受算力与数据量限制。