跳到主要内容
返回时间线
researchsquare.com来源发表:

患者安全推理不再只靠语言模型:去掉知识图谱,F1 掉 0.047,检索增强的增益却跨过零

核心概要

患者安全推理需要把临床叙述、用药、检验与不良事件之间的关系连起来,单靠大语言模型容易给出看似合理却缺乏依据的结论。同一批 MIMIC-III/IV 病例在相同 LLaMA 2 7B 与提示下被分别置于四种条件:纯模型、加检索增强生成、加患者安全知识图谱与本体、两者兼有。完整框架在概念抽取上达到 F1 0.89,相对基线提升 0.046;消融中移除知识图谱的降幅最大,F1 差 0.047、AUROC 差 0.084、AUPRC 差 0.110,而移除检索增强的 F1 差 0.029,其置信区间跨过零。

AI-generated editorial illustration: Evidence-Grounded Retrieval- Augmented Generation and Knowledge-Graph Grounding for Patient-Safety Reasoning: A Comparative Evaluation

深度剖析

患者安全推理被拆成四种可对照的配置,同一模型、同一批病例、同一套提示与输出要求下,分别考察外部证据与结构化知识各自带来什么。 此前的做法多是把语言模型、知识图谱或检索增强单独评估,或只展示一个集成系统的能力,很少在同一实验条件下把纯模型推理与各类接地方式并排比较。 对照覆盖纯 LLaMA 2 7B、加检索增强、加知识图谱与本体、以及两者兼有的四种条件,病例来自 MIMIC-III 与 MIMIC-IV,最终分析队列约 3 万名成人 ICU 患者。

完整框架在患者安全概念抽取上达到 F1 0.89,在留出数据上的预测组件达到 AUROC 0.87。 相对基线,完整模型的 F1 绝对提升 0.046(95% 置信区间 0.012 至 0.081,bootstrap p = 0.006),AUROC 提升 0.087(0.045 至 0.127,DeLong p < 0.001),AUPRC 提升 0.082(0.017 至 0.144,bootstrap p = 0.011)。 同一组配对比较中,二值错误模式的 McNemar 检验未显示显著差异(p = 0.360),说明提升主要体现在连续判别指标上,而非单一检验。

移除知识图谱接地造成的性能下降在各项消融中最大,结构化语义关系是这套框架里最有分量的接地来源。 完整模型相对无知识图谱版本的 F1 差为 0.047(0.015 至 0.079,bootstrap p = 0.004),AUROC 差 0.084(0.043 至 0.125,DeLong p < 0.001),AUPRC 差 0.110(0.044 至 0.175,bootstrap p = 0.001),配对 McNemar 检验也显著(p = 0.029)。 项目文档把知识图谱接地列为概念抽取性能贡献最大的组件,提升约 4 至 5 个 F1 百分点;AUPRC 上的差距在阳性概念相对稀少的情形下尤为明显。

检索增强生成的方向为正,但在这套消融里其独立贡献的估计不够精确。 移除检索增强后,完整模型的 F1 差为 0.029,95% 置信区间 −0.003 至 0.059,bootstrap p = 0.079;AUROC 差 0.034(−0.006 至 0.073,DeLong p = 0.084),AUPRC 差 0.031(−0.036 至 0.098,bootstrap p = 0.375),McNemar 检验 p = 0.190。 所有报告的差值都偏向完整模型,领域专家复核也确认检索到的文档与所评估的临床场景相关,但未报告检索精确率、召回率、引用正确性或论断级忠实度的正式指标。

启示与展望

这套评估建立在 MIMIC-III 与 MIMIC-IV 的去标识化回顾性重症数据上,场景以住院尤其是 ICU 为主,结局是模型指标与专家评分,而不是患者结局。

检索增强的增益在主要连续指标上置信区间跨过零,论断级证据归因、检索召回与引用正确性没有正式测量;知识图谱与本体依赖底层来源的完整性与时效;可用性测试只在模拟面板上进行,尚未评估真实临床环境中的处置时间。