合成医学影像不再只看像不像:频率一致性加选择性蒸馏,让肿瘤分割和病灶检测一起受益
核心概要
医学影像合成常被当作“补一张缺失的模态”,但图像逼真并不等于对下游任务有用。一项跨五个公开数据集的研究把合成与任务学习绑在一起:翻译器在训练时用图像自适应的频率一致性约束结构细节,下游网络只在合成图像上的教师模型于带标签样本上优于学生时才接收其特征。在CycleGAN、CUT和SynDiff三种无配对翻译器上,翻译保真度指标均改善;脑肿瘤分割与病灶中心点检测也取得提升,且训练期组件在推理时被移除。
深度剖析
合成模态被当作采集扫描的任务导向补充,而不是独立测量:翻译质量的提升与下游分割、检测的收益被放在同一套训练流程里考察。 此前的频率约束使用固定的频段划分,不随单张图像调整;而图像逼真或单纯的特征迁移,都不能说明合成图像对每个训练样本都带来任务上的好处。 在BraTS 2021的219例官方验证队列上,相对未改动的CycleGAN、CUT和SynDiff主干及其FDIT变体,T1到T1ce与T2到FLAIR翻译的SSIM、PSNR均值提高、LPIPS均值下降;这些比较的逐例95%置信区间在偏向新方法一侧排除零,并经Holm校正。
频率一致性通过让低频、高频输入的翻译结果与整图翻译的对应频段对齐来实现,频段边界由每张图像自己预测。 自适应分解模块AFD用空间与频谱表示之间的交叉注意力回归出该图像的低频和高频截止,取代固定阈值。 在IXI的双向PD–T2翻译上,88例配对病例的Wilcoxon符号秩检验显示,加入AFD相对固定阈值版本在PD到T2方向平均SSIM提高0.0137、PSNR提高0.719 dB,在T2到PD方向分别提高0.0116和1.115 dB。
特征迁移被做成一次逐样本的风险比较:只有当使用合成图像的教师模型在带标签训练样本上以任务特定余量低于学生的任务误差时,学生才接收教师特征。 此前的知识蒸馏不判断教师在每个样本上是否真的更有优势,门控把这一判断显式化,且只在训练期生效。 在249例留出的BraTS 2021含肿瘤切片分割测试集上,SFD相对UNet-SE-CA和Zhang等的循环与形状一致性方法,平均Dice分别提高0.0331和0.0261;在DeepLesion的663例测试患者上,每图0.5、1、2个假阳性预算下的患者级敏感度分别提高0.0282、0.0289和0.0414。
启示与展望
已展示的范围是五个公开去标识数据集上的评估:BraTS 2021、SynthRAD2025、IXI、DeepLesion,以及作为外部验证的BraTS 2024术后MRI;分割结果仅针对含肿瘤切片,外部验证只考察翻译保真度,未评估术后MRI上的下游任务。
频率分解使用离散傅里叶变换与各向同性高斯掩膜,未显式建模空间局部化或方向特定的频率模式;SFD目前是来自监督任务风险的硬门控;16例分割消融限制了把门控与无门控蒸馏区分开的证据;报告的病例级置信区间未量化重复训练带来的波动。
