冻结DINOv3特征经Room-Lite与校准融合注入3D U-Net,在3DRA动脉瘤分割上取得Dice 0.758并跨数据集消除全部失败病例
核心概要
该工作提出DINO-3DRA双路径框架,将冻结的2D视觉基础模型DINOv3-Small特征通过Room-Lite空间混合与校准残差融合注入可训练的3D U-Net主干,在多中心3D旋转血管造影(3DRA)@neurIST数据(233例、四家机构)上实现动脉瘤分割Dice 0.758、HD95 2.75 mm、较nnU-Net提升13%,仅需5.72M可训练参数;消融显示增益来自结构化跨维度迁移而非损失设计,且在CADA(n=45)与SHINY-ICARUS(n=30)上不经微调即把Dice<0.5的失败病例从11.1%和3.3%降至0%。
Fig. 1. Overview of DINO-3DRA. (a) Frozen 2D VFM (DINOv3-Small) features are fused with a trainable 3D U-Net backbone for vessel and aneurysm segmentation. (b) Multi-scale DINO features are refined by Room-Lite Mixers and fused into U-Net skip connections via Calibrated Fusion.
· 第 3 页深度剖析
提出双路径架构:冻结的DINOv3-Small(ViT-S/16,384维嵌入,在LVD-1689M上自监督蒸馏预训练)逐层处理64张轴位切片,与可训练3D U-Net主干通过校准融合模块结合,仅增加约120K参数,总可训练参数5.72M。 此前DINO适配多停留在2D医学影像,朴素逐切片迁移无法与优化过的3D架构竞争;该工作把2D基础模型语义引入3D血管分割,并以冻结分支保留预训练知识、可训练分支学习体数据上下文。 在@neurIST多中心数据(233例、四家机构、4:1:1划分)上与U-Net++、Dual Attention、DeepVesselNet、nnU-Net对比,配对Wilcoxon检验p<0.05;动脉瘤Dice 0.758±0.234,优于nnU-Net的0.669±0.319。
提出Room-Lite空间混合器,用可学习的深度位置偏置B(z)与深度可分离3D卷积恢复逐切片特征缺失的层间连续性。 DINOv3独立处理切片,堆叠后缺乏层间连续性;该模块以参数高效方式重建体一致性,区别于DITR依赖RGB-D相机与点云的投影设定。 消融中移除Room-Lite后动脉瘤Dice从0.758降至0.385±0.310、HD95从2.75 mm升至22.08 mm(p<.001),是各变体中降幅最大的一项。
提出校准残差融合,以可学习缩放和残差连接对齐统计分布不同的DINO与U-Net特征,在DINO特征无用时保留U-Net特征。 朴素拼接会破坏性能(初步实验中+DINO naive使总Dice从0.896降至0.885),该设计把融合从简单拼接改为带归一化与残差注入的校准过程。 移除校准后动脉瘤Dice降至0.492±0.301、HD95升至10.12 mm(p<.001);随机特征对照(ViT-S/16标准初始化)为0.628±0.279,DINOv2-small替换为0.590±0.252,均显著低于完整模型。
跨数据集评估显示,在@neurIST训练、不经微调迁移到CADA与SHINY-ICARUS时,DINO-3DRA消除全部Dice<0.5的失败病例(CADA 11.1%→0%,SHINY-ICARUS 3.3%→0%),SHINY-ICARUS上Dice提升10.4%(p<0.001)、HD95下降75.8%(15.52→3.76 mm),CADA上均值提升有限(p=0.607)但方差减半(σ 0.186→0.093)。 基线架构在异质协议下存在灾难性失败病例,该工作把稳定性作为跨中心迁移的主要收益,而不仅是均值精度。 两个外部数据集分别为n=45与n=30的随机抽样病例,与@neurIST在扫描仪一致性、采集协议和标注完整性上不同;作者指出结论仍需更大外部队列确认。
启示与展望
该结果面向3D旋转血管造影中的颅内动脉瘤与脑血管分割,训练与主要评估基于@neurIST多中心数据(233例、四家机构,0.35 mm各向同性重采样,64³重叠块、步长32),外部验证为CADA(n=45,仅动脉瘤标注)与SHINY-ICARUS(n=30,血管加动脉瘤标注)的无微调迁移。方法适用于具备专家标注3DRA体数据、希望以较小可训练参数预算获得稳定动脉瘤定位的研究与工程场景;作者指出均匀的动脉瘤置信度可为下游表面网格化与血流动力学建模提供更好的几何起点。作者也明确表示跨协议稳健性仍需在更大外部队列上确认。
作者报告DINO-3DRA倾向于欠分割大型或形态不典型的动脉瘤,穹顶周边强度梯度微弱的边界体素被保守归为血管类,并归因于训练数据以紧凑囊状动脉瘤为主而CADA含梭形形态,以及大动脉瘤跨多个图像块时边界一致性下降;这一取舍偏向可靠定位而非体积完整性。跨数据集结论基于CADA(n=45)与SHINY-ICARUS(n=30)的随机抽样病例,作者本人也提出需在更大外部队列确认。此外,动脉瘤阈值0.005由基线网格搜索选定并统一应用,其在不同协议下的最优性、以及方法在非3DRA模态或其他血管床上的表现,仍是待观察的开放问题。
