跳到主要内容
返回时间线
arXiv来源发表:

FermatSyn 用 SAM2 先验与费马螺旋扫描的 Mamba 合成缺失医学模态,在四个脑影像基准上取得最优指标,合成图训练的分割器与真实图训练无显著差异

核心概要

该工作提出 FermatSyn,用 LoRA+ 微调冻结 SAM2 视觉编码器注入解剖先验、以 HRDM 与 CIN 保留高频病灶细节、并在双向 Mamba 中采用连续性约束的费马螺旋扫描构建近似各向同性感受野,在 SynthRAD2023 与合并 BraTS(含 BraTS-MEN、BraTS-MET)上于 PSNR、SSIM、FID 和 3D 结构一致性上超过对比方法,且用合成图像训练的分割模型与真实图像训练相比无显著差异(p>0.05)。

AI-generated editorial illustration: FermatSyn: SAM2-Enhanced Bidirectional Mamba with Isotropic Spiral Scanning for Multi-Modal Medical Image Synthesis

深度剖析

提出 SAM2 先验编码器:冻结预训练 SAM2 视觉 Transformer 权重,仅通过 LoRA+ 低秩适配器更新 MLP 与 MHSA 层,把分割模型学到的器官边界、组织界面与形状显著性等结构表征迁移到合成任务。 此前医学图像合成框架缺少注入领域解剖知识的机制,作者称这会导致跨模态不合理;该工作把 SAM 系列的分割先验显式接入合成流程。 消融显示 SAM2-VTE 是单项增益最大的组件,PSNR 提升 15.5%,相对 GAN 基线累计提升约 21%(表 5a)。

提出 HRDM 细节编码器与 CIN 跨尺度融合网络:HRDM 用三路并行空洞卷积(膨胀率 1、3、5)、深度可分离卷积与高通滤波保留高频纹理,CIN 按通道奇偶拆分并用 5×5 与 3×3 深度卷积分别处理低频语义与局部结构。 针对常规池化丢弃小病灶所需高频细节、跨尺度融合不充分的问题,给出显式的高频补偿与通道拆分融合设计。 逐步消融中,在 SAM2-VTE 基础上加入 HRDM+CIN 后 SynthRAD 的 PSNR 由 27.35 升至 27.74、BraTS 由 27.18 升至 28.45(表 5a)。

提出连续性约束的费马螺旋扫描与双向 BFS-Mamba:以黄金角约 137.508° 的费马螺旋序列化二维特征图,并用网格匹配目标(式 6)在全局各向同性与局部路径连续性之间权衡,前向与反向两条 SSM 路径融合输出。 作者指出 I2I-Mamba 的矩形螺旋仍存在角点热点(算子足迹 σ=0.124),而费马螺旋的 Delaunay 方差由 0.0154 降至 0.0061(降低 60%),Jacobian σ 降低 29%。 架构受控的扫描对比中,费马螺旋比矩形螺旋在 SynthRAD/BraTS 上分别高 1.29/1.40 dB PSNR(表 5b);λc=0.7 在 {0.3,0.5,0.7,0.9} 中验证集最优。

在四个基准上验证合成质量与下游临床可用性:脑肿瘤分割 Dice 在 T1n→T2w 为 0.847/0.762/0.785(WT/ET/TC),T1n→T2f 为 0.851/0.775/0.798,与真实图像上界差距在 3% 以内,且三个肿瘤区域、两个任务上均无显著差异(p>0.05)。 多数对比方法仅在结构最复杂的 TC 区域达到 p>0.05,该工作把这种等价性扩展到更难的 WT 与 ET 区域。 采用真实训练/合成评估与合成训练/真实评估两种协议,统计检验为 Wilcoxon 符号秩检验;推理 31 ms/256×256 切片,可训练参数 87.3 M。

启示与展望

该结果面向需要补齐缺失模态的脑部影像场景:脑肿瘤 MRI 序列间转换(T1n/T2w/T2f→T1c)与 SynthRAD2023 的 MRI↔CT 转换,数据经 SNR<15 dB 与运动伪影 grade>3 过滤、保留每卷中央 80 层并做 256×256 中心裁剪。对希望减少采集负担的放疗计划、手术导航与数据稀缺研究团队,这提供了可复现的代码与架构;作者也把费马螺旋扩展到 3D 体数据合成、以及从 SAM2-VTE 蒸馏到轻量学生网络以支持实时部署列为下一步。

读者仍需留意:验证集中在脑部 MRI 与 MRI–CT,其他解剖部位与模态组合是否同样成立尚待检验;下游分割只用了 ResNet50 的 U-Net 与 WT/ET/TC 三类区域,其他分割骨干与更细粒度病灶的结论仍待观察;费马螺旋目前作用于二维切片,作者把 3D 体数据合成列为未来工作,因此层间一致性的收益在真正的三维序列化下如何变化仍是开放问题;此外 λc 与 LoRA+ 的 α 等超参在验证集上选取,跨数据集迁移时的敏感性需要进一步确认。

来源