跳到主要内容
返回时间线
arXiv来源发表:

CT转MRI不必再上3D扩散:StaX-Net用2D交错共享块,腹部感知距离642.1低于Pix2Pix

核心概要

跨模态医学图像翻译长期受解剖不一致的合成结果困扰,标准生成对抗网络同时更新生成器与判别器,容易让共享表示被两股相反梯度拉扯。StaX-Net把生成器与判别器的多尺度计算块交错共享,让判别器先更新、生成器更新时冻结共享块,并用只在训练期可见的目标MRI引导特征变换。在SynthRAD 2025的腹部/盆腔、头颈和胸部三个子集上,它与五个基线对比,腹部/盆腔的VGG感知距离为642.1,低于Pix2Pix的991.2和UNet-AE的1687.9。

AI-generated editorial illustration: StaX-Net: Stackelberg Interleaved Asymmetric Network for Cross-Modality Medical Image Translation

深度剖析

CT到MRI的合成现在可以在一个二维生成对抗网络里完成,而不必依赖显式的三维扩散架构。 此前的耦合式生成对抗网络让生成器和判别器同时更新共享参数,两套相反目标会把共享表示拉向不同方向。 在SynthRAD 2025的腹部/盆腔、头颈和胸部三个子集上,StaX-Net与Pix2Pix、Vanilla cGAN、UNet-AE、CycleGAN和改编的MedViT-cGAN对比,腹部/盆腔的VGG感知距离为642.1,低于Pix2Pix的991.2和UNet-AE的1687.9。

共享块在两条通路中交错出现,生成器与判别器在对应阶段使用同一组参数化块,但各自的激活和专用层保持独立。 共享参数并不等于两条通路处理同一个特征张量,也不退化为一个共享编码器加两条独立分支。 判别器作为领导者先更新共享块和自身参数,生成器作为跟随者时共享块被冻结,只更新专用合成参数,并以非对称学习率补偿生成器受限的更新空间。

训练阶段目标MRI只通过一条专用投影进入辅助损失,用来把目标域的结构先验蒸馏进一个仅依赖CT的特征变换。 目标图像从不拼接到前向输入,推理时完全缺席,FAST层只执行确定性的源域变换。 该辅助损失在特征空间比较投影后的目标特征与动态先验库,而不是在原始像素空间比较,训练完成后推理阶段不再需要任何目标依赖的自适应。

启示与展望

评估限定在SynthRAD 2025大挑战数据集的腹部/盆腔、头颈和胸部三个子集,按受试者划分80%训练、10%验证、10%测试,全部为配对CT与MRI体数据。读者应把它看作配对跨模态翻译在二维架构上的可行性证据,而不是临床部署结论。

作者明确不声称收敛到严格的Stackelberg均衡,因为那需要计算代价高昂的超梯度;非对称更新被描述为一种启发式稳定手段。在胸部子集上,StaX-Net的2D PSNR为18.67、3D PSNR为18.37,低于UNet-AE的19.26和18.90;作者对确定性架构倾向平滑输出的讨论针对的是UNet-AE在头颈子集的PSNR和腹部/盆腔的MAE,并未专门解释胸部的这一差距。