跳到主要内容
返回时间线
arXiv来源发表:

脑转移瘤分割模型换院换模态还要加新病灶:FGCARL 在 BraTS-METS 2023 上平均 Dice 达 68.28%

核心概要

临床影像常按机构、模态和标注结构分批到来,分割模型既要适应新的成像分布,又要学会新增的病灶类别,同时不能忘掉旧知识。FGCARL 把双向特征统计对齐与 Fisher 信息加权的参数约束放进同一个增量学习框架,不需要回放历史患者数据。在从 UCSF-BMSR 迁移到 BraTS-METS 2023 的域与类同时变化设定中,配 Swin UNETR 的 FGCARL 在新域三个肿瘤区域上平均 Dice 为 68.28%,高于对比中最强的 CLAMTS 的 60.94%。

Source-provided article image: FGCARL: Fisher-Guided Continuously Adaptive Representation Learning for Medical Image Segmentation
Figure 1 · arXiv · 第 2 页

深度剖析

医学图像分割模型现在可以在成像分布和标注类别同时变化的情况下继续训练,而不必把旧数据留在手里。 此前的增量学习方法大多只处理域漂移或类别漂移中的一种,两类变化被分开研究。 在 UCSF-BMSR 到 BraTS-METS 2023 的迁移中,源域用三种模态只标增强肿瘤,目标域用四种模态并新增肿瘤核心与周围非增强 FLAIR 高信号;配 Swin UNETR 的 FGCARL 在目标域平均 Dice 为 68.28%,对比中最强的 CLAMTS 为 60.94%。

方法由两部分组成:一部分在特征层面把新域统计量拉回旧域,另一部分只锁住对旧任务关键的参数。 互适应实例表示(MAIR)先在前向传播中做实例归一化并接可学习的通道仿射变换,再在后向传播中用旧域记录的均值与标准差把特征还原到旧域统计量。 Fisher 引导知识保留(FGKR)用对角 Fisher 信息估计每个参数对旧域损失的影响,并对其偏离旧值的幅度加权惩罚;实验在 Swin UNETR 与 nnU-Net 两种骨干上、六个公开数据集上运行。

去掉后向还原会明显削弱旧域保持,说明收益来自双向机制而非单纯换一种归一化。 只用前向 MAIR 时,nnU-Net 从 UCSF-BMSR 迁移到 BrainMetShare 后在源域的 Dice 为 50.13%。 同时使用前向与后向 MAIR 后,同一设定下源域 Dice 升至 72.47%,目标域 BrainMetShare 为 66.15%。

启示与展望

评估覆盖六个公开三维分割数据集,包括脑转移瘤 MRI 与腹部 CT,骨干为 nnU-Net 与 Swin UNETR,指标为 Dice 百分比;源域与目标域输入通道数通过构造 T1 减影模态对齐。

源域性能在增量适配后仍有下降,例如配 Swin UNETR 的 FGCARL 在 UCSF-BMSR 上从 80.13% 降到 70.63%;正则权重在 1.0 附近取得较好平衡,结果以 Dice 报告。