医学影像迁移不再靠空间布局：把全局注意力挪到特征轴，超声分割Dice从53.1升到77.7
核心概要
医学影像迁移学习长期沿用自然图像预训练的空间注意力主干，但空间布局先验在跨设备、跨模态时并不可靠。FAD-ViT把全局建模从空间令牌改到通道令牌，用深度卷积单独负责局部空间提取，使两条轴严格解耦。在23个分类、分割与低数据任务上，从零训练时两种轴几乎持平，而同样的ImageNet预训练在特征轴上带来的迁移增益最高约为空间轴的三倍，超声分割Dice由53.1升至77.7，参数量约为对照的四分之一。
深度剖析
全局注意力的作用轴本身可以当作迁移设计的变量：把全局混合放在通道令牌上，而不是空间令牌上，能让同一份自然图像预训练在医学任务上保留更多可用结构。 此前的通道感知主干把通道注意力加到仍以空间混合为主的骨架上，两条轴纠缠在一起，无法单独判断特征轴的作用；标准ViT则把全局建模全部交给空间自注意力。 在匹配令牌化、容量与训练协议的前提下，特征轴与空间轴从零训练时性能基本持平，而同样的ImageNet预训练在乳腺超声上带来的迁移增益为+15.1 Dice，空间轴匹配容量基线为+4.3 Dice，约三倍差距。
这种增益来自特征轴本身，而不是更大的参数量或更强的源任务精度。 空间轴基线即使放大到ViT-B或换成预训练卷积编码器，迁移增益仍只有+5.7与+6.0 Dice，远低于特征轴的+15.1。 三个主干在ImageNet-1K上的top-1精度相近，特征轴仅领先数个百分点，不足以解释Dice层面的差距；在超声、腹部CT与心脏MRI上做严格同骨架换轴，特征轴的迁移增益在三种模态上均高于空间轴。
特征轴注意力把预训练塑造成通道间的相关性统计，即纹理、强度与共激活模式，这些统计跨扫描仪和解剖结构仍然成立，而空间布局先验在医学域偏移下大多失效。 空间令牌注意力学到的是自然场景中的物体布局先验，这类先验在医学图像中并不稳定。 预训练与从零训练编码器之间的CKA对齐显示，特征轴在浅层与中层保持更高对齐、仅在最后一层塌缩，空间轴则单调衰减；该对齐被作者视为迁移差距的佐证性相关，而非特征复用的直接证明。
启示与展望
该结论建立在23个医学数据集与任务上，覆盖MedMNIST-2D分类、BUSI与数据集B乳腺超声、BUSI与10个MSD衍生二维分割，以及8个MedMNIST数据集在1%、10%、100%标签下的线性探测。分割实验统一挂接同一个U-Net解码器，分类为端到端微调，线性探测冻结主干。作者提出的后续方向是接入更强流程如nnU-Net、其他架构族以及自监督预训练。
从零训练时换轴只差约1 Dice、去掉空间尾部只差约1 Dice，落在种子方差内，说明该轴本身并不让网络更强，只在预训练后起作用。低数据线性探测的结果依数据集而异，特征轴在PathMNIST、OCTMNIST、PneumoniaMNIST与BloodMNIST领先，在少数数据集上落后于DINOv2与ViT-S/16。模态分组显示增益在超声最大、MRI次之、高对比CT最小，在接近饱和的结肠CT任务上略逊于DINOv2。CKA对齐被作者定位为迁移差距的佐证性相关，而非特征复用的直接证据。