跳到主要内容
返回时间线
arXiv来源发表:

CT病灶定位不再依赖逐体素标注:Uni-Loc用扫描级标签画出三维病灶图

核心概要

三维CT的病灶定位通常需要专家逐体素勾画,代价高且难以覆盖多种病变。Uni-Loc把分类头换成病理查询与空间特征的相似度打分,让同一组分数既给出扫描级诊断又生成三维定位图,并配合梯度引导阈值勾出病灶区域。在355例带体素标注的五个定位任务上,其宏平均体素级AUROC/AUPR为96.1%/34.5%,高于相关性传播的80.7%/13.9%与梯度显著性的88.7%/8.1%。

Source-provided article image: Uni-Loc: Weakly Supervised 3D CT Pathology Localization via Spatially Grounded Vision-Language Classification
arXiv

深度剖析

三维CT模型现在可以在只有扫描级诊断标签的情况下,同时给出诊断结论和病灶在体积中的位置图。 此前的BERT式视觉语言分类模型通过独立的分类头从全局表示给出扫描级预测,并不显式要求预测的病理与空间特征对齐;而弱监督定位中常用的池化方法又假定标签集合固定。 在四个公开胸部CT数据集、五个病种共355例带体素级标注的定位任务上,Uni-Loc的宏平均体素级AUROC/AUPR为96.1%/34.5%,对比Uni-CLS加相关性传播的80.7%/13.9%和梯度显著性的88.7%/8.1%。

分类与定位共用一套空间相似度:病理查询与每个空间位置的图像特征逐一比较,比较分数既铺成三维定位图,又经注意力加权池化汇总成扫描级诊断分数。 具体做法是把Uniferum中作用于[CLS]嵌入的线性分类头替换为相似度公式,并用UNet式逐级上采样把分辨率降低32倍的视觉token恢复到体素级。 定位图按梯度引导阈值二值化后,宏平均Dice为0.310,高于固定阈值的0.256;在CT-RATE与RAD-ChestCT上,分类AUROC相对同一套训练流程的Uni-CLS分别提升0.85和0.64个百分点。

启示与展望

评测覆盖四个公开胸部CT数据集上的五个病种、共355例带体素级标注的病例,定位图统一重采样到各向同性分辨率后与参考体积对齐比较;分类评测在CT-RATE与外部RAD-ChestCT上进行。适合关注弱监督医学图像定位与视觉语言模型的研究人员和工程师阅读。

部分病变的定位仍然困难,例如胸腔积液上CLIP式余弦相似度的AUROC高于Uni-Loc;梯度引导阈值在胸腔积液、纵隔淋巴结肿大和肺不张上的Dice略低于固定阈值,其宏平均优势主要来自磨玻璃影与感染性阴影。去掉相似度公式中的偏移项会显著降低各病种的体素级AUROC,而AUPR变化不显著。分类对比中,CLIP式基线因评测设置不同而只能有限直接比较。