跳到主要内容
返回时间线
arXiv来源发表:

胸片报告生成后先做视觉核对:CheXPoT把MedGemma-4B微平均精确率从19.2%提到46.8%

核心概要

胸片视觉语言模型能写出通顺报告,却常把图像里没有的征象写进去,而此前的改进多依赖强化学习、偏好优化或思维链监督,需要重新训练生成器。CheXPoT改为在报告生成之后处理:把报告拆成可核对的谓词,用胸片分类模型和Grad-CAM定位出的视觉证据表逐条判定,删去无法被图像支持的谓词再改写报告。在4,145张图像的留出集上,MedGemma-4B报告的微平均精确率由19.2%升至46.8%,微平均F1由23.0%升至49.4%,14个CheXpert类别中8类的精确率提升具有统计显著性,精确率与F1均无显著下降。

Source-provided article image: CheXPoT: Post-Hoc Visual Verification and Correction of VLM-Generated Radiology Reports
Figure 1 · arXiv · 第 2 页

深度剖析

胸片报告生成多了一层生成后的视觉核对:报告里每条征象先被拆成可逐条判定的谓词,只有能在图像证据中找到支持的谓词才保留,其余被删除后由语言模型改写报告。 此前的做法多是在生成端改进,用强化学习、偏好优化或思维链监督重新训练模型,计算开销较大;已有的幻觉检测方法如ReXTrust给出可疑征象的细粒度评分,但不直接产出可用的修正报告。 在4,145张图像的留出测试集上,以CheXbert抽取标签评估,MedGemma-4B报告的微平均精确率从19.2%升到46.8%,微平均F1从23.0%升到49.4%;配对非参数自助法重采样10,000次得到的95%置信区间显示,14个CheXpert类别中8类的精确率提升显著,5类的F1提升显著,精确率和F1都没有显著下降。

核对分四步走:先拆谓词,再建视觉证据表,然后用程序化推理逐条作答,最后按答案改写报告。 拆谓词用RadGraph抽取报告中的临床实体,再由gpt-4o-mini把实体列表转成谓词;视觉证据表来自在CheXpert Plus训练划分上微调的DenseNet-121,它对14个CheXpert标签输出概率,按验证集上逐类F1最高的阈值转成有无判断,并用Grad-CAM取出每类最具代表性的位置。 程序化推理让gpt-4.1只依据谓词和证据表的结构生成查询代码,不接触表内数值,代码执行后才把证据表内容代入得到答案,无法得出结论的谓词被丢弃;随后gpt-4o-mini对照原报告与新答案,信息一致则保留,不一致则改写。整套流程跑完4,145份报告耗时618分钟,OpenAI API花费26.77美元,平均每份报告8.95秒、0.00646美元。

同一套核对流程也用在另外两个报告生成器上,修正后的报告仍保留各自生成器的行文风格和报告格式。 在LLaVA-Med上,微平均精确率从4.5%升到17.7%,微平均F1从6.3%升到19.4%;在MAIRA-2上,微平均精确率从15.6%升到42.1%,微平均F1从21.0%升到45.3%。 三个生成器使用同一4,145张图像的留出测试集和同一评估协议,逐份报告配对比较;不同模型间增益幅度的差异被用来支持这一判断:修正依据原报告进行,而不是用视觉发现整体覆盖报告。

启示与展望

全部实验在CheXpert Plus这一个数据集上完成,评估通过CheXbert从报告中抽取14个CheXpert标签来计算精确率、召回率和F1,而非由放射科医生直接审阅报告;修正效果受DenseNet-121验证器限制,视觉证据表中的错误会传播到改写后的报告。

结果被表述为生成后视觉核对对MedGemma-4B输出可行的证据,而非临床有效性的证明;作者指出精确率提升多于F1提升与精确率—召回权衡一致,更严格的核对在删除幻觉征象时也可能删掉部分真阳性。流程依赖语言模型生成的代码,实验中未做代码沙箱隔离,也未观察到代码报错或恶意代码事件;CheXPoT尚未在临床工作流中测试,需要盲法放射科医生审阅才能判断视觉核对后的改写是否改善信任、效率或诊断安全。