医学影像迁移不再靠空间布局:把全局注意力挪到特征轴,超声分割Dice从53.1升到77.7
医学影像迁移学习长期沿用自然图像预训练的空间注意力主干,但空间布局先验在跨设备、跨模态时并不可靠。FAD-ViT把全局建模从空间令牌改到通道令牌,用深度卷积单独负责局部空间提取,使两条轴严格解耦。在23个分类、分割与低数据任务上,从零训练时两种轴几乎持平,而同样的ImageNet预训练在特征轴上带来的迁移增益最高约为空间轴的三倍,超声分割Dice由53.1升至77.7,参数量约为对照的四分之一。
医学影像迁移学习长期沿用自然图像预训练的空间注意力主干,但空间布局先验在跨设备、跨模态时并不可靠。FAD-ViT把全局建模从空间令牌改到通道令牌,用深度卷积单独负责局部空间提取,使两条轴严格解耦。在23个分类、分割与低数据任务上,从零训练时两种轴几乎持平,而同样的ImageNet预训练在特征轴上带来的迁移增益最高约为空间轴的三倍,超声分割Dice由53.1升至77.7,参数量约为对照的四分之一。
已读完全部报道