PlaneCycle 无需训练、无需适配器,把 DINOv3 的 2D 权重直接提升为 3D 模型,线性探测平均 AUC 达 87.8
核心概要
作者提出 PlaneCycle——一种无参数、免训练、免适配器的 2D 到 3D 提升算子,它让预训练 2D 主干网络在深度方向上循环地在 HW、DW、DH 三个正交平面上做空间聚合,从而在不改动任何预训练参数的情况下获得 3D 融合能力;以 DINOv3 的 ViT-S/16、ViT-B/16、ViT-L/16 为对象,在六个 3D 分类基准和三个 3D 分割基准上,线性探测下 PCg 在 ViT-B/16 上平均 AUC 达 87.8、ACC 达 82.0,超过切片式 2D 基线和 3D 展平基线,并在 5/6 数据集上配对 t 检验显著(p<0.05);全量微调后性能与标准 3D 架构相当,分割任务上最多高出 3D 展平 2.6 个 Dice 点,同时保持与 2D 相同的注意力
深度剖析
PlaneCycle 是一个无参数、免训练、免适配器的算子,通过在整个网络深度上循环地把空间聚合分配到 HW、DW、DH 三个正交平面,使预训练 2D 主干网络获得内在的 3D 融合能力。 此前的 2D 到 3D 提升要么需要重训练、适配器或架构改造,要么像 ACS 卷积那样只适用于 CNN;PlaneCycle 首次给出架构无关(同时兼容 CNN 与 ViT)、不引入任何新参数、也不修改预训练权重的提升方式。 方法层面给出算法 1 与复杂度分析:每层自注意力复杂度与切片式 2D 相同,相比全 3D 展平有 D 倍降低;论文报告在 ViT-L/16 的 LIDC 上训练时间 16.3 小时对 3D 展平的 36.2 小时。
在完全不做训练的情况下,提升后的模型就表现出可用的 3D 表征:冻结主干特征在 HW、DW、DH 三个平面上对齐良好,FeatDice 高于 2D 与 3D 基线。 论文指出切片式 2D 推理只在所选平面内结构良好、跨切片不一致,而朴素转换的 3D 模型在重训练前三个正交平面上表征都弱且不对齐;PlaneCycle 无需额外监督即可得到跨平面一致的 3D 特征。 以 PCA 可视化(图 1)和自定义的 FeatDice 指标(表 3 零训练特征)为依据,例如 ViT-S/16 上 PCg 在 LIDC 为 42.6,高于 2D 的 36.9 与 3D 的 13.9。
在线性探测下,PlaneCycle 在六个 3D 分类基准和三个 3D 分割基准上几乎全部取得最佳结果,超过切片式 2D 基线与强 3D 对手,并接近全量训练模型的水平。 论文报告 ViT-B/16 上 PCg 平均超过 R-ACS 3.0 个 AUC 和近 6.0 个 ACC;分割线性探测中 PCg 平均 Dice 在 ViT-S/16 为 64.8、ViT-B/16 为 65.2、ViT-L/16 为 65.6,均高于 2D 与 3D 展平。 结果在五次运行上取平均,并用配对 t 检验(图 3)在线性探测下于 5/6 数据集上确认 p<0.05 的显著性。
在全量微调下,PlaneCycle 与标准 3D 架构性能相当,同时保留 2D 的计算效率。 论文指出 3D 展平严重依赖端到端微调才能发挥潜力,而 PlaneCycle 在微调后仍可比肩甚至更好:分割上最多超过 3D 展平 2.6 个 Dice 点,分类上 ViT-B/16 的 PCg 平均 AUC 91.2 高于 3D 展平的 91.1,并超过基于 Transformer 的体积模型 ViViT 最多 2.6 个 AUC。 表 2 与表 3 的全量微调结果在五次运行上取平均,并给出训练成本对比(ViT-L/16 在 LIDC 上 16.3 小时对 36.2 小时)。
启示与展望
这项工作面向需要把已有 2D 基础模型用于体积数据的研究者与工程团队,尤其是医学影像场景;论文在 MedMNIST+ 的六个 3D 分类数据集(Organ、Nodule、Fracture、Adrenal、Vessel、Synapse,覆盖 CT、MRI 与电子显微镜)以及 LIDC 与 MMWHS 两个分割基准上验证,主干为 DINOv3 的 ViT-S/16、ViT-B/16、ViT-L/16,全部实验在单张 NVIDIA H200 上完成。它被定位为 3D 预训练与适配器的互补算子而非替代品,因此最适用的场景是已有 2D 权重、希望以极低额外成本获得 3D 融合能力,并可在有监督时继续微调。
论文自述尚未系统比较 CNN 与 ViT 主干,也未探索与 3D 预训练及 LoRA 等适配器的组合;大规模潜力尚未验证,仅提到提升 DINOv3-7B 的初步结果可行。分割实验刻意使用共享的轻量解码器以隔离提升效果,作者指出简单解码器与 ViT 的 16 倍下采样可能限制空间恢复。此外,FeatDice 是为评估体积特征一致性而新定义的指标,尚无既有标准可直接对照;平面调度采用 HW→DW→DH→HW 的四算子循环,其他调度方式的效果仍是开放问题。
