颅内动脉瘤CTA检测AI工具的前瞻性影子模式评估:增量检出与运行影响
核心概要
这项前瞻性影子模式研究在2023年11月7日至12月19日连续纳入3,856例脑CT血管造影(CTA),在放射科医师对AI盲态的条件下评估一款FDA已清关的AI算法(Aidoc)用于颅内动脉瘤检测的运行表现,结果显示AI单独敏感度(0.846)高于放射科医师单独敏感度(0.718)而特异度相近(0.987对0.985),医师与AI的一致率为96.3%,AI额外发现放射科医师未识别的动脉瘤,相对增强检出率(rEDR)为39%(每140个医师真阳性对应55个AI独有真阳性),AI:医师增量检出比为1.83(55比30),增益-代价比(GPR)为1.20(55比46),需检查例数(NNE)为70.1
深度剖析
在真实临床流程中,AI单独检测颅内动脉瘤的敏感度高于放射科医师单独判读,而两者特异度相近。 此前对AI动脉瘤检测的评估多依赖回顾性数据或非连续样本,本研究以连续脑CTA的前瞻性影子模式设计,在医师对AI盲态下运行算法,并用自然语言处理从报告中提取结果,从而在真实工作流中同时给出AI与医师的敏感度与特异度。 基于3,856例连续CTA,AI敏感度0.846(0.787-0.894)高于医师0.718(0.649-0.779),特异度分别为0.987(0.983-0.991)与0.985(0.981-0.989),置信区间不重叠提示敏感度差异稳定;不一致病例经神经放射科医师在解除AI盲态后裁定,指标在仅裁定不一致病例的混合参考标准下估计。
AI能在医师判读之外额外发现动脉瘤,提示AI与医师联合可提高总体敏感度。 研究不仅报告一致性,还量化了增量收益:相对增强检出率(rEDR)为39%,即每140个医师真阳性对应55个AI独有真阳性;AI:医师增量检出比为1.83(55比30),偏向AI。 增量基于3,856例中96.3%(3,714例)的医师-AI一致率与对不一致病例的裁定;AI独有动脉瘤多为小于3 mm(55个中31个,56.4%),医师独有者多为3至5 mm(33个中18个,54.5%),说明增量集中在更小的病灶。
从运行角度看,AI的增益-代价比与需检查例数总体可接受,但不同诊疗场景差异明显。 研究引入GPR与NNE等运行指标,把检测收益与额外工作量放在同一框架下衡量,并分场景报告,这在既往以诊断准确性为主的AI评估中较少见。 总体GPR为1.20(55比46)、NNE为70.1(3,856比55);住院患者最有利(rEDR 78.3%、GPR 2.57、NNE 28.9),急诊次之(rEDR 37.1%、GPR 1.0、NNE 85.3),门诊不利(rEDR 14.1%、GPR 0.67、NNE 130.3)。
启示与展望
该结果适用于连续脑CTA、放射科医师对AI盲态、由自然语言处理从报告提取结果并仅对不一致病例进行裁定的影子模式场景,主要面向希望评估AI辅助动脉瘤检出的影像科与临床团队;其运行指标在住院与急诊场景更有利,提示分场景部署与工作流设计是该证据最直接的应用方向。
读者仍会关注:混合参考标准下仅裁定不一致病例对敏感度与特异度估计的影响;AI独有病灶多为小于3 mm,其临床意义与随访价值如何;门诊场景GPR 0.67、NNE 130.3所反映的工作量负担在长期运行中如何变化;以及单一机构、单一算法与特定时间窗的结果在其他机构、其他AI工具与不同人群中的可重复性。本次为摘要级阅读,未包含图表与补充材料,若需核对分层细节与统计方法,应查阅原文。
