3D医学自监督预训练不再随机裁块:离线探针库把器官覆盖率从19.79%提到45.71%
导语
3D医学自监督预训练把随机裁块换成离线探针库后,在VoCo、S2DC、MedGMAE三个骨干上迁移性能一致提升,低标注下最明显,且只用几何与图像统计线索的轻量版本就够了。
正文
3D医学自监督预训练里,从每张扫描中裁出固定大小子体积这一步,从随机采样改成了从预先算好的候选中心库里采样。 此前这类流程默认所有空间区域对表征学习同样值得观察,随机裁剪因此会把固定的裁剪预算分给边界主导或结构稀疏的区域。 在带器官标注的子集上,随机裁剪平均含55.83%前景体素,却只有19.79%落在标注器官掩膜内,说明大量观察落在非背景但与解剖无关的区域。
探针库按解剖合理性、信息量和多样性三条原则给候选中心打分,离线建好后训练时只从库里均匀取一个中心再裁块。 轻量版本只用几何先验和图像统计量,即到体积中心的归一化距离、到边界的归一化最小距离、局部平均梯度幅值和局部强度熵,不引入可学习参数。 在VoCo-10k上,这套打分把前景占用率从55.83%提到75.63%,器官占用率从19.79%提到45.71%。
换成探针库后,三个自监督骨干在分割、分类和配准三类下游任务上的迁移表现都变好。 与各自原本的随机裁剪基线相比,增益在1%和10%低标注分割下最大,100%标注和配准上的增益较小但方向一致。 VoCo在AMOS的1%标注下从55.81%升到58.64%,S2DC在AMOS的1%标注下从55.19%升到58.83%,MedGMAE在WORD的1%标注下从68.09%升到70.67%。
接下来
这套方法面向3D医学自监督预训练中的子体积采样环节,适用于沿用固定裁剪预算、按子体积反复观察的流程,已在VoCo、S2DC、MedGMAE三个骨干和分割、分类、配准三类下游任务上验证。探针库离线构建一次后缓存复用,VoCo-10k上缓存占41.5 MB,AbdomenAtlasMini上占21.8 MB,总预训练开销相对随机采样分别为4.4%、2.1%和2.2%。作者提出后续将探索把子体积选择与自监督预训练联合优化,并发展适用于非标准采集设置的更灵活先验。
探针库离线构建后保持静态,无法随模型训练过程中不断变化的学习动态调整观察位置。作者同时指出,作为质量轴的器官类别数和冻结特征方差在预训练时都不可得,前者需要器官标注,后者需要外部特征提取器,因此探针库只能用体积自身信号去近似这一质量轴。多随机种子重复显示,低标注分割和分类的方差较大,100%标注与配准设置相对稳定。
