医学影像分类的解释图不再靠梯度猜:无监督训练让冻结分类器自己检验掩码
核心概要
医学影像分类的卷积网络解释图有了新的训练方式:SalientNet不依赖人工标注的显著图,而是要求生成的掩码保留足够信息,让冻结的分类器在受控容差内复现原预测。在BreakHis、Brain MRI ND5和FracAtlas三个数据集上,它相对Grad-CAM、Grad-CAM++和LIME在多数数据集与网络组合中取得更高的忠实度(Win %)和更低的预测下降(Drop %),并在FracAtlas上与医生标注的骨折区域呈现较强空间相关,ResNet-18的平均真值活跃比例最高达0.96。
深度剖析
卷积网络在医学影像上给出的热力图式解释,现在可以由一个独立训练的网络生成,而不再只从被解释模型的梯度或扰动中反推。 此前的常用做法是Grad-CAM、Grad-CAM++和LIME这类基于梯度或局部扰动的显著图方法,它们对输入扰动不够敏感,也缺少因果依据和机制层面的说明。 在BreakHis组织病理、Brain MRI ND5和FracAtlas肌骨X射线三个数据集上,配合ResNet-18、MobileNetV3-Small和EfficientNet-B0三种被解释分类器,SalientNet在几乎所有数据集与网络组合中取得更高的忠实度(Win %)和更低的预测下降(Drop %),同时虚假置信度上升(Inc %)保持在相近的低水平。
解释图的生成被写成一个可训练的目标:掩码必须刚好够用,既不能什么都遮住,也不能什么都不遮。 训练不需要真实显著图标注,取而代之的是一条解释损失,它要求归因图保留足够信息,使冻结的分类器在受控的不相似温度内复现原预测。 SalientNet由两部分联合训练:一个CNN检查器用可变通道卷积模块从被解释网络的中间特征图中提取与架构无关的信息,另一个由两个耦合U-Net构成的归因图生成器把该信息与输入图像合成为显著图。
解释图与临床标注区域的空间对应关系可以直接检验,而不只是看起来合理。 在FracAtlas肌骨X射线数据上,解释结果与医生标注的骨折区域做了空间相关性比较。 ResNet-18作为被解释分类器时,平均真值活跃比例最高达到0.96;机制分析还显示几乎所有卷积层都对SalientNet的解释有实质贡献。
启示与展望
演示范围限于BreakHis组织病理、Brain MRI ND5和FracAtlas肌骨X射线三个数据集,被解释分类器为ResNet-18、MobileNetV3-Small和EfficientNet-B0,面向需要局部验证的医学影像模型研究者与工程实现者。
忠实度与预测下降的优势表述为在几乎所有数据集与网络组合中成立,而非全部组合;与医生标注的空间相关性只在FracAtlas上报告,且0.96这一平均真值活跃比例对应ResNet-18这一具体分类器。
