胸片报告不再只写长段落:先按疾病对齐图像与文字,再让大模型改写成问答
导语
胸片报告生成改用问答式输出:先用预测疾病标签对齐图像与文本,再用医学知识图谱检索证据并由大模型改写,在MIMIC-CXR与IU X-Ray上多数指标优于此前方法。
正文
胸片自动报告的输出形式从整段自由文本改成逐条问答,每条问题对应一个临床发现,答案由图像证据支撑,并附一段简短诊断小结。 此前方法生成的是长篇自由文本叙述,关键发现埋在段落里,不易检索;问答式改写是为了让发现更明确、更易检索,而不是取代叙述式报告。 在MIMIC-CXR与IU X-Ray两个公开胸片基准上,该框架在多数词法与临床指标上优于对比方法,并超过多视图方法MPO与问答式基线CoD。
图像与文本的表征不是各自独立学习,而是按预测出的疾病标签拉近或推远,使共享空间按诊断相似度组织。 此前的跨模态对齐多依赖图像—报告配对,未把诊断标签当作联合嵌入学习的监督信号;该框架把预测诊断标签直接放进对比目标。 消融显示,用疾病感知对比替换CLIP式对齐后B4提升更明显,再叠加先验引导注意力模块后词法与临床指标继续改善。
生成分两步:先由解码器产出中间报告,再经医学知识图谱检索临床证据,最后由微调后的大模型整理成问答对与小结。 此前注入知识的报告框架多在解码阶段加入外部临床文本,该框架把图谱检索放在问答合成之前,检索的是有连接的证据而非孤立片段。 知识图谱由约5000篇胸廓影像相关PubMed摘要构建,检索限制在两跳;消融显示去掉检索种子初始化时CheXbert-F1下降最多。
接下来
该框架面向2D胸片,训练与评测使用MIMIC-CXR和IU X-Ray两个公开数据集,疾病标签限定为CheXbert的前13类。跨机构评估在ReXGradient-160K上零样本进行,覆盖3个医疗系统和79个站点,未在该数据上训练或微调。作者提出后续将扩展到CT、MRI等三维模态,并研究显式时间建模与更广的多中心数据。
作者指出,先验引导注意力模块不显式编码既往检查的时间顺序或间隔,因此捕捉历史上下文但不直接建模纵向进展。大模型作为固定的改写组件,未与多模态推理联合优化。训练仅限MIMIC-CXR与IU X-Ray,表征可能受其采集协议与人群特征约束。框架依赖成对的图像、报告与诊断标签,在数据稀缺场景下扩展性受限。噪声注入实验显示,标签噪声升高时各阶段性能持续下降,改进疾病预测仍是提升对齐可靠性的方向。
