无配对医学图像翻译拆成两步:结构先冻结,OCT到OCTA的PSNR最高提升11.2%
核心概要
无配对医学图像翻译此前把结构保持与外观生成压进同一个源到目标映射,缺少配对监督时容易丢失血管或扭曲黄斑无血管区。该工作把两者拆开:先学习一个跨模态共享的结构潜空间,再冻结结构编码器,用条件流模型只渲染目标模态外观。在OCT到OCTA与脑MR到CT两个任务上,它优于所有无配对基线,并在无配对训练下超过配对基线,OCT到OCTA的PSNR最高提升11.2%、SSIM最高提升26.4%。
深度剖析
无配对医学图像翻译被重新表述为“结构条件下的目标模态生成”:要保留的解剖结构与要生成的目标外观被分成两个独立阶段处理。 此前的无配对方法通过对抗匹配、循环一致性、对比块学习或扩散式条件生成直接学习源到目标映射,没有显式规定哪些解剖信息必须保持不变。 在OCT到OCTA与脑MR到CT两个任务上,该方法优于所有无配对基线,并在不使用配对监督的情况下超过配对基线,OCT到OCTA的PSNR最高提升11.2%、SSIM最高提升26.4%。
第一阶段用一个结构编码器-解码器把源图像、目标图像和结构掩码映射到同一个共享结构空间,解码器重建多类结构图,使潜表示贴近与模态无关的解剖。 源域图像通常没有可靠的结构标注,而不同模态能可靠显示的结构也不同,例如骨结构在CT上比在MR上更易定义。 结构记忆库保存目标域掩码及其潜表示作为原型,对每张源图像按Dice相似度检索最相近的若干目标原型并加权聚合成软结构目标,从而只用目标域标注监督源图像导出的结构潜表示。
第二阶段冻结第一阶段的结构编码器-解码器,用其结构表示作为条件训练一个目标模态流模型,从目标域无条件先验初始化,只负责在固定解剖条件下渲染外观。 生成器不再需要从零学习目标外观,也不必同时承担结构保持。 推理时只输入源图像:先预测其结构图,再重新编码为共享结构空间中的条件,从高斯噪声出发求解条件流常微分方程得到目标模态图像,不需要目标图像、掩码或原型检索。
启示与展望
演示范围是OCT到OCTA的2D投影翻译与脑MR到CT的2D轴位切片翻译,训练依赖目标域结构掩码,源域粗掩码仅作可选弱监督;跨中心泛化只在SynthRAD2023的一个留出中心上评估。
该留出中心设置未覆盖机构、扫描仪、协议与人群差异的全部范围;实验未显式约束层间一致性与3D解剖拓扑;掩码误差可能影响学到的表示;局部解剖幻觉与遗漏仍可能出现,临床可靠性需要更广的外部验证与专家评估。
