合成医学影像不再只看像不像:频率一致性加选择性蒸馏,让肿瘤分割和病灶检测一起受益
医学影像合成常被当作“补一张缺失的模态”,但图像逼真并不等于对下游任务有用。一项跨五个公开数据集的研究把合成与任务学习绑在一起:翻译器在训练时用图像自适应的频率一致性约束结构细节,下游网络只在合成图像上的教师模型于带标签样本上优于学生时才接收其特征。在CycleGAN、CUT和SynDiff三种无配对翻译器上,翻译保真度指标均改善;脑肿瘤分割与病灶中心点检测也取得提升,且训练期组件在推理时被移除。
医学影像合成常被当作“补一张缺失的模态”,但图像逼真并不等于对下游任务有用。一项跨五个公开数据集的研究把合成与任务学习绑在一起:翻译器在训练时用图像自适应的频率一致性约束结构细节,下游网络只在合成图像上的教师模型于带标签样本上优于学生时才接收其特征。在CycleGAN、CUT和SynDiff三种无配对翻译器上,翻译保真度指标均改善;脑肿瘤分割与病灶中心点检测也取得提升,且训练期组件在推理时被移除。
该工作提出 FermatSyn,用 LoRA+ 微调冻结 SAM2 视觉编码器注入解剖先验、以 HRDM 与 CIN 保留高频病灶细节、并在双向 Mamba 中采用连续性约束的费马螺旋扫描构建近似各向同性感受野,在 SynthRAD2023 与合并 BraTS(含 BraTS-MEN、BraTS-MET)上于 PSNR、SSIM、FID 和 3D 结构一致性上超过对比方法,且用合成图像训练的分割模型与真实图像训练相比无显著差异(p>0.05)。
该工作提出一种检索增强的文本到CT生成方法:给定放射学报告,用预训练3D视觉语言编码器从参考语料中检索语义最相近的病例,把该病例的解剖标注作为结构代理,经ControlNet分支注入文本条件潜扩散模型;在CT-RATE数据集(27,514例训练、1,818例测试)上,检索增强生成在图像保真度(FID 3D 0.004)、临床一致性(CT-Net AUC 0.787)和空间可控性(Dice 0.772、HD95 3.072)上均优于纯文本基线,并首次为这类方法带来显式空间可控性。
已读完全部报道