阿里达摩院HoloCT把CT读片与三维分割合成一个模型，多中心阅片研究在敏感度与总准确率上超过四位放射科医生
核心概要
阿里达摩院推出三维CT基础模型HoloCT，把影像解读与体素级分割放进同一个视觉—语言模型，让文字结论能配上可核查的三维掩膜。此前的分割网络只勾画、不解释，CT视觉语言模型只出文字、不给定位。在五个医院11,455例临床CT上，HoloCT-8B在喉部病变与肺癌分割上把平均Dice较VoxTell分别从0.107提到0.488、从0.543提到0.715，并在甲状腺肿瘤与结肠病变回顾性阅片研究中于敏感度和总准确率上超过全部四位参与放射科医生。
深度剖析
CT的读片结论和三维定位现在由同一个模型给出：HoloCT在输出文字的同时可以附上对应解剖区域或病灶的三维掩膜，供人逐层核查。 此前的分割网络只在体素层面勾画器官和异常，不解释其临床意义；CT视觉语言模型则生成诊断文字却不给体素级定位，预测的解剖依据难以检查。 在五个医院六个队列共11,455例临床CT上，HoloCT-8B零样本分割喉部病变的平均Dice为0.488（95%置信区间0.441–0.531），VoxTell为0.107（0.066–0.150）；肺癌上为0.715（0.687–0.741），VoxTell为0.543（0.506–0.579）。
模型把整卷上下文和细粒度解剖细节同时送进语言模型，使临床推理能直接调用与分割共享的空间特征。 已有的可定位医学模型只在输出端连接语言与分割，高分辨率空间特征只流向掩膜解码器，不进入语言模型；另一些模型仍依赖二维切片编码器或粗降采样的三维输入。 HoloCT用全局编码器产生256个整卷全局token，用细节编码器在1.5毫米各向同性间距上产生每个体素一个的细粒度token，两者直接输入Qwen3-VL语言主干；语言模型输出的分割token再驱动掩膜解码器。在346项任务、61个内部与12个外部数据集上，单个HoloCT-8B在272个内部类别上的平均Dice为0.816，高于82个按数据集分别训练的nnU-Net模型的0.799。
文字与空间两种能力在训练和推理时互相加强，而不只是并列输出。 此前不清楚临床理解与空间感知能否在单一基础模型中联合学习并相互促进。 仅给语言模型细粒度token时，在纯分割训练中加入语言监督把Dice从0.601提到0.613，在纯语言训练中加入分割监督把筛查macro F1从0.256提到0.351；推理时遮住语言模型对细粒度token的注意力，分割Dice从0.840降到0.811，筛查macro F1从0.678降到0.061。
启示与展望
已验证的范围是回顾性数据：73个公开数据集加五个医院六个队列的11,455例临床CT，任务覆盖指称分割、病灶筛查、视觉问答和报告生成；发现级三维掩膜目前只做到胸部CT，医院评估在单一国家内完成。
作者指出，肌肉骨骼骨病变和弥漫性非焦点胸部发现的细分精度仍然有限；模型目前独立解读单次CT，尚未纳入纵向对比、多期增强和电子病历等常规工作流信息；临床转化还需要跨国的前瞻性验证、交互式三维掩膜核查的读者在环试验，以及经过校准的不确定性估计与自动质控。