跳到主要内容
返回时间线
arXiv来源发表:

CT预训练偏爱可预测结构:病理信号在隐藏目标预测中被削弱,扫描级判断几乎不受影响

核心概要

在113,611例胸腹盆CT上训练的TAP-JEPA编码器,其冻结特征在胸部与腹部分类基准上与现有CT编码器相当;但按训练时的掩码、教师与预测器逐位复算显示,隐藏目标预测把病理的平均Skill从0.388压到0.271,而解剖结构只从0.921降到0.873。病理区域在教师方向上向配对正常对照移动34.7%,对照反向移动13.6%,且离可见上下文越远位移越大;在七个扫描级探针中的四个,删去全部末层病理token对决策边距的影响不超过0.45%。

Source-provided article image: The Predictability Bias of Joint-Embedding Predictive Learning in Medical Imaging
Figure 1 · arXiv

深度剖析

CT自监督预训练中,预测式目标保留的解剖信息远多于病理信息,这一差别可以在训练目标内部被逐位复算出来。 此前的迁移基准只说明表征能支撑什么下游任务,不说明预测目标保留了哪些局部信息;该工作直接比较同一编码器内反复出现的解剖与偶发病理在隐藏目标预测后还剩多少教师可及信息。 在ATLAS与ReX两个未参与预训练的数据集上,病理的归一化Skill损失为36.7%与31.8%,解剖为11.2%与6.2%,配对差值分别为25.5与25.6个百分点。

隐藏目标预测会把病理特征拉向同一器官内的配对正常对照,且可见上下文越远、拉得越强。 此前没有把标注病理沿训练目标追踪到预测输出,因此病理与对照在预测空间中的相对位移未被量化。 六个病理类别全部出现分离衰减,从瘢痕/纤维化的17.9%到肝病灶的72.4%;五个类别中病理侧位移大于对照侧,例如肺不张/实变衰减54.5%,其中病理侧48.2%、对照侧6.3%;肝病灶的衰减从24毫米以内的67.4%升到96毫米以上的83.4%。

可见病理区域对预测周围隐藏解剖的贡献小于同等大小的配对正常对照区域。 目标侧的不对称只说明病理被预测成什么样,还需要从上下文侧检验可见病理是否被当作有用证据。 在共享隐藏目标上,六个类别中替换对照特征造成的损失增加都大于替换病理特征,其中肝、瘢痕、肺不张和磨玻璃四个类别在联合校正后仍显著,差异为对照替换成本的若干比例。

扫描级病理判断对局部病理token的依赖有限,采集元数据与共现标签本身就能提供相当一部分预测力。 此前不清楚编码器的扫描级决策在多大程度上依赖病灶本身的token。 扫描级Skill为0.198–0.607,而删除全部末层病理重叠token在肝、肾、瘢痕和结节四类中使参考决策边距下降至多0.45%;仅用采集元数据或共现标签的探针在五个类别中达到编码器Skill的0.68–1.24倍。

启示与展望

该分析刻画的是一个大规模3D CT JEPA中的可预测性偏置,预训练使用NLST、CT-RATE、Merlin与AbdomenAtlas共113,611例胸腹盆CT,区域分析使用未参与预训练的1,863例ATLAS腹部扫描与950例ReX胸部扫描。下游干预测量的是对末层病理token的直接依赖,上下文侧分析针对共享周围目标上的完整替换。作者提出的下一步是跨表征深度与扰动强度继续追踪局部病理信息在何处被保留、重分配或削弱,并通过受控改变掩码与预测目标来识别哪些设计选择能保留上下文无法解释的临床变异。

作者把结果限定为对单个大规模3D CT JEPA的表征,并指出下游干预只测量对末层病理token的直接依赖,上下文侧分析只覆盖共享周围目标上的完整替换。位置典型性与局部读出依赖的关联被作者称为探索性,方向与可预测性偏置假设一致但未确立因果。肾脏类别因支持不足只作描述性报告,结节类别的替换差异在联合校正后不再显著。作者还指出,采集元数据与共现标签本身具有预测力,因此扫描级Skill不能定位到病灶本身。