IntraStyler 用对比学习风格编码器免预定义子域合成 T2 MRI 风格,在 CrossMoDA 上把 Extra-VS 的 Dice 从 0.61 提升到 0.81 且失败数降为 0
核心概要
该工作提出 IntraStyler,一种无需任何预定义子域的 3D 非配对图像翻译方法,用对比学习训练的风格编码器从每张目标域图像提取与解剖解耦的风格嵌入,并通过动态实例归一化条件化 QS-Attn 合成网络;在 CrossMoDA 基准(226 例标注 ceT1、295 例无标注 T2、测试集 96 例 T2)上,它自动聚类出 7 个风格参考而非子域方法的 3 个,下游 nnU-Net 分割在 Intra-VS、Extra-VS、Cochlea 上取得最佳 Dice 与 ASSD,Extra-VS Dice 达 0.81、失败数为 0。
Fig. 1. (a) Intra-domain variability: images from the same domain exhibit diverse ap- pearances across institutes and scanners. (b) Comparison of style generation strategies.
· 第 2 页深度剖析
提出首个无需预定义子域的 3D 非配对跨模态 MRI 图像翻译方法,把每张目标域图像本身当作风格参考。 此前方法要么为每个源-目标子域对训练独立合成网络,要么用独热编码条件化统一网络,都依赖子域标签的可得性与准确性;IntraStyler 取消了这一前提。 方法描述与消融设计(NoVar、MultiNets、Dynamic、IntraStyler 四种策略仅改变域内变异处理方式,下游分割模型固定为 nnU-Net)支持该主张。
设计对比学习目标训练 3D 风格编码器,从 MRI 中提取与解剖内容解耦的逐图像风格嵌入。 query 与 positive 取自同一图像不同位置(同风格、异解剖),负样本为 positive 的强度扰动版本(同解剖、异风格),使编码器只对风格敏感;训练仅用人工扰动,却能区分真实 MRI 风格。 K-means 聚类加 PCA 可视化显示同簇图像风格一致而解剖各异、跨簇外观明显不同;风格向量维度 K=256,温度 τ=0.01,每次迭代 N=8 个负样本。
通过动态实例归一化注入风格嵌入,并用球面线性插值实现两参考图之间的平滑风格过渡。 线性插值会产生模长不一的中间向量导致风格强度不一致,SLERP 保持单位范数,插值参数 t∈[0,1] 提供显式风格混合控制。 图 3 显示随 t 变化合成图像外观在两参考风格间平滑过渡,而解剖内容仍由源输入决定;风格一致性损失 Lcon 以负相似度约束生成图与参考图风格一致。
在 CrossMoDA 基准上,风格多样性带来更可靠的下游分割。 相比仅产生 3 种风格的子域方法,IntraStyler 生成 7 个风格参考;相比先前挑战赛冠军 Dynamic,在几乎所有 Dice 与 ASSD 指标上显著更优。 测试集 96 例 T2;Intra-VS Dice 0.69±0.12、Extra-VS 0.81±0.12、Cochlea 0.83±0.03;ASSD 上 Extra-VS 0.60±0.31、Boundary 0.65±0.33;失败数 Intra-VS 1、Extra-VS 0、Cochlea 0;显著性用 Wilcoxon 符号秩检验加 Bonferroni 校正(p<0.05)。
启示与展望
该结果面向跨模态 MRI 域适应场景:源域为标注 ceT1、目标域为无标注 T2,且目标域存在来自多中心、多厂商(Siemens、Philips、GE、Hitachi)、1.0T/1.5T/3.0T 与多种采集序列的显著域内变异。方法适用于子域标签不可得或过于粗糙的机构,因为每张目标域图像都可直接充当推理时的风格参考,无需额外先验即可随域内异质程度扩展。风格条件机制与骨干架构无关,作者指出其与扩散模型或流匹配模型结合是提升合成保真度的可行方向;学到的风格嵌入空间在无监督下呈现有意义聚类,可能用于无监督扫描仪协调与图像检索。
负样本的强度扰动函数为 MR 设计,迁移到 CT、PET 等模态时需要按模态调整,这是作者明确指出的范围限制。全局风格向量来自平均池化,丢弃了空间信息,因而无法控制肿瘤特异性纹理等局部风格变化,作者建议与局部肿瘤增强方法结合。比较范围限于图像合成类策略,未与特征级对齐等不做显式合成的域适应方法对比,作者说明这超出本研究范围。此外,风格解耦的证据主要来自聚类可视化与合成示例,读者可关注后续在更多模态与更大规模队列上的验证。
