LowBridge 用边缘等低层特征把 MRI 源模态知识迁移到 CT 目标模态,在仅源域泛化设定下超越十种已有方法
核心概要
该工作针对跨模态医学图像分割中的 MRI-CT 迁移,在训练仅见源模态、测试用未标注目标模态的仅源域泛化设定下提出 LowBridge:先训练生成模型从边缘等低层特征重建源图像,再在生成图像上单独训练分割模型,测试时把目标图像的边缘特征送入生成模型得到源风格的目标域图像再分割,在多个公开数据集上取得优于十种已有方法的表现,消融实验显示其兼容不同生成与分割模型。
Figure 1: Framework of our LowBridge. Low-level features ( e.g. edge features) are treated as domain-invariant representations to train a generative model, 𝒢 \mathcal{G} , to generate source-style images. Edge features extracted from unlabeled target images are then input to 𝒢 \mathcal{G} , followed by a segmentation model, 𝒮 \mathcal{S} , pretrained on the source data, to output the predictions.
arXiv深度剖析
提出 LowBridge,利用跨模态图像共享低层特征(如边缘)这一观察来桥接域间差异,把目标模态图像转换为源模态风格后再做分割。 与直接在源模态上训练、再迁移到目标模态的常规做法不同,该方法把低层特征作为跨模态的共同接口,用生成模型完成风格转换,从而在训练阶段完全不需要目标模态标注。 论文在多个公开数据集上报告了结果,并称其优于十种已有方法;摘要未给出具体数据集名称、样本量或数值指标。
方法流程分为两步:先训练生成模型从源图像的边缘特征重建源图像,再在生成的源图像上单独训练分割网络。 生成与分割被解耦为两个独立训练阶段,使测试时只需目标图像的边缘特征即可生成源风格图像并送入预训练分割网络。 摘要描述了训练与测试流程,但未提供网络结构、损失函数或训练细节。
消融实验显示 LowBridge 与不同类型的生成模型和分割模型兼容。 这种兼容性意味着该方法不是绑定在某一特定骨干网络上,而是可以随生成与分割模型的进步而受益。 摘要称消融研究支持这一结论,但未列出所比较的模型种类或具体消融设置。
启示与展望
该工作面向训练阶段只能获得源模态样本、测试阶段使用未标注目标模态图像的仅源域泛化场景,摘要中明确以 MRI-CT 迁移为焦点。它适合需要在缺少目标模态标注时进行分割的研究与工程场景,并因声称兼容不同生成与分割模型,可能随这些模型的进步而受益。
摘要未说明所用公开数据集的具体名称、样本量、评价指标数值,也未列出被比较的十种方法;消融实验所覆盖的生成与分割模型种类同样未展开。此外,低层特征共享这一假设在其他模态组合或解剖结构上是否成立,仍需更多证据。
