跳到主要内容
返回时间线
arXiv来源发表:

MPAD用2D扩散加多平面自回归实现3D多对比度MRI合成,训练FLOPs降7倍、推理降3倍

核心概要

作者提出MPAD:先用3D自编码器把MRI体积压成各向同性隐表示,再用2D扩散模型重建被掩码的目标对比度隐切片,并以源对比度切片、未掩码目标切片和文本模态提示为条件;推理时按平面自回归生成,把已合成体积作为正交平面的先验,从而仅用2D操作完成全容积3D合成,相比3D隐扩散基线训练FLOPs降7倍、推理FLOPs降3倍,并在ADNI与IXI上取得更优的PSNR、SSIM与NMSE。

Source-provided article image: Unified Multi-plane Autoregressive Diffusion for 3D Multi-contrast MRI Synthesis
Figure 1 ·

Figure 1 : Overview of the proposed 3D multi-contrast MR image translation framework. Given a source-contrast (e.g., T1), the model synthesizes a target contrast (e.g., T2 or PD) in latent space using a Multi-modal Conditioning Encoder (MCE) and a 2D diffusion model with plane-wise autoregressive synthesis. Bottom: Training FLOPs per iteration (GFLOPs), inference FLOPs per volume (TFLOPs), inference time, peak memory, and PSNR averaged across all translation tasks on the ADNI dataset.

arXiv

深度剖析

把3D多对比度MRI合成重新表述为2D隐切片掩码预测任务,用3D自编码器提供可沿任意解剖平面切片的各向同性隐表示,从而绕开体素级3D扩散随体积立方增长的计算代价。 此前多对比度合成多为2D切片到切片翻译,缺乏体积一致性;全3D生成模型虽保结构但计算与显存随体积立方增长。该工作用2D去噪网络承载3D条件,兼顾两者。 方法层面给出两阶段训练流程与损失构成;消融显示3D多模态条件编码器优于2D版本(ADNI PSNR +0.72、IXI +1.19),说明体积上下文对条件编码确有贡献。

提出多平面自回归推理:平面内按随机顺序自回归生成切片以保持面内连续性,跨平面时把已完成体积作为先验(从中间时间步而非纯噪声初始化),最后对四个候选做体素级平均。 相对逐平面独立生成再平均的做法,引入跨平面先验使后续平面继承已完成平面的结构信息,并减少采样步数。 消融中启用先验在ADNI上PSNR +1.12、SSIM +0.037,在IXI上PSNR +1.88、SSIM +0.013;平面组合从单平面到三平面加一次精修,PSNR与SSIM单调提升;不同平面顺序结果几乎一致(如23.48/23.49/23.54 PSNR),提示对顺序不敏感。

在ADNI与IXI上,单一统一模型支持一对多对比度合成,并在多数对比度对与指标上优于五个基线(两个GAN、三个扩散方法),其中仅ALDM同样具备一对多能力。 多数基线需按对比度对分别训练,而MPAD用一个模型处理多目标对比度,同时报告更低的训练与推理FLOPs、推理时间与峰值显存。 ADNI上六个任务中五个取得最高SSIM并始终最低NMSE,PD→T1与PD→T2的PSNR比次优方法高2 dB以上;IXI上各指标均列第一。评测使用PSNR、SSIM、NMSE,训练轮数与基线对齐。

训练细节上,用高斯噪声而非可学习掩码标记填充被掩码的目标隐切片,效果更好。 可学习掩码标记是常见做法,但此处常数填充易被条件编码器识别并忽略,削弱目标侧上下文;高斯噪声保持连续且落在隐激活的自然范围内。 消融显示高斯噪声掩码在ADNI上PSNR +0.32、SSIM +0.029,在IXI上PSNR +2.00、SSIM +0.017。

启示与展望

该结果面向从已采集对比度合成缺失对比度的3D脑MRI场景,适用于T1w、T2w、PDw之间的转换,并在ADNI(737例,1.5T GE,含阿尔茨海默病患者)与IXI(577例,1.5T/3T Philips,健康受试者)上验证,两数据集各随机取100名受试者评测。方法的价值在于用2D去噪网络获得全容积输出,从而在标准GPU上以更低训练与推理成本支持一对多合成;作者指出跨平面精修次数与推理时间之间存在可控折衷,减少精修迭代可将单体积推理时间降至约1.8秒,便于按部署约束调节。

评测指标为PSNR、SSIM与NMSE等图像相似度度量,文本未报告下游诊断任务的表现,因此合成质量与临床可用性之间的关系仍是开放问题。实验限于脑MRI的三种对比度与两个数据集,跨解剖部位、更多对比度与不同场强/厂商的泛化范围尚待检验。作者提到蒸馏或更少步采样、并行多平面生成是未来方向,说明当前采样成本仍有下降空间。此外,正文中若干公式、隐空间通道数与分辨率、噪声调度端点、学习率等具体数值在所提供的文本中未完整呈现,若需复现应查阅补充材料。

来源