跳到主要内容
返回时间线
bioRxiv来源发表:

指南更新了,答案却还停在旧版:强模型检索多个ASCO指南版本后,过时回答出现频率约为不检索时的四倍

核心概要

肿瘤指南随证据滚动修订,答案即使忠实引用真实指南,也可能引用已被取代的版本。ASCOBench把288个问题绑定到具体版本的ASCO乳腺癌与前列腺癌指南,并由肿瘤科医生复核参考答案;版本敏感的草稿约四分之一需要修改或重写,事实类不足十分之一。14份被后续文件取代的指南中只有1份声明自己已被替换;对强模型Gemini而言,检索多个指南版本使过时回答的出现频率约为不检索时的四倍,而以验证为先的SentryLine把错误回答降到4.2%至5.2%。

AI-generated editorial illustration: Version-aware question answering over living oncology guidelines

深度剖析

临床问答多了一种可测量的失效:答案忠实于一份真实指南,却忠实于已被取代的旧版本,引用检查因此照样通过。 幻觉式回答没有来源,查引用即可发现;过时回答有合法来源,来源本身也不提示已被替换。 在ASCOBench的288个测试轮次中,肿瘤科医生对前沿模型起草的版本敏感回答约四分之一需要修改或重写,而事实类回答的接受率为92.3%。

系统在展示答案前先做核验:事实核验器不看答案自己给出的引用,而是把每条主张对照检索到的段落,并标为已核验、部分核验或未核验。 时间核验器要求最新指南版本优先,只有拿到取代段落的逐字引文才把主张标为过时,从而避免模型凭记忆判断指南历史。 在288个唯一测试轮次上,SentryLine在Gemini 3.1 Pro、DeepSeek-R1和Llama 3.3 70B三个骨干模型下的错误回答分别为4.2%、4.5%和5.2%,对应基线区间为13.9%至18.8%、9.7%至12.5%和17.7%至22.9%。

启示与展望

评估只在ASCOBench上进行,覆盖ASCO乳腺癌与前列腺癌指南,测试对话由模型生成并经临床医生复核,而非取自真实就诊记录;SentryLine处理的是指南已经声明变更之后的情形。

过时评级由评审规则给出,该规则因88个漂移轮次中仅2个被判为负面而无法与医生的D5标签校准,应视为探索性结果;验证器消融规模小,且仅在DeepSeek-R1上显示出明确效果,Llama 3.3下无可测效果;七维标注只覆盖96个测试对话中的54个,漂移子集是下界;在指南尚未声明变更之前识别变化仍是未解问题。