放射决策模型不再生成文本:公开权重版在15项任务上把报告纠错从72.1%提到94.7%
核心概要
公开权重的放射决策模型RadKev-27B在15项放射决策任务上把平均准确率从75.9%提高到80.8%,报告纠错一项从72.1%升到94.7%,且推理延迟约为带推理大语言模型的1/132。
深度剖析
放射科日常有大量从固定答案里选一个的判断,例如报告是否描述了某个征象、病例最可能是哪种诊断、检查该分到哪个亚专科。这类判断现在可以由一个不生成文本、直接给出每个候选答案概率的模型来做,而且权重公开、可在院内运行。 此前没有专门面向放射科的决策模型,也没有把它与通用决策模型和大语言模型放在同一批问题上比较过;通用决策模型Jev和OpenAI Decisions只能通过外部托管接口调用,数据必须离开机构。 在14,142道留出问题上,RadKev-27B的任务平均准确率为80.8%,其起点Kev-27B为75.9%,相差4.9个百分点(95%置信区间3.8至6.2);在14项人工标注任务上相差3.6个百分点(2.4至5.0)。
做法是在已有的通用决策模型上继续训练,让它保留原来的接口,只改变权重。模型一次读入一段文本和它的若干问题,对每个问题直接输出各候选答案的概率,不逐字生成答案。 训练数据来自公开放射科来源的36,109条记录,覆盖报告阅读、病例诊断与分类、放射知识三类判断;其中影像申请、分诊和随访类问题没有公开的人工标注,改由MedGemma-27B-text与Qwen3.8-27B两个模型标注,只在两者把同一选项排第一时保留。 训练在四块NVIDIA RTX A6000上完成,RadKev-27B用13.1小时、RadKev-9B用3.4小时;在60条基准记录上单请求计时,RadKev-27B每题中位延迟128毫秒,而同一骨干网络Qwen3.8-27B带推理时为16.9秒。
增益集中在少数任务上,并且部分来自对选项本身的识别,而不是对病例的阅读。 在把病例文本替换为“没有病例信息”的对照中,RadKev-27B在Eurorad诊断题上仍答对76.9%,Kev-27B为47.7%,随机水平为24%;去掉影像所见后,各系统亚专科分类准确率下降11.9至17.8个百分点。 在另一家机构放射科医师标注的RadGraph-XL报告上,RadKev-27B在2,991道明确征象问题上准确率90.2%,比Kev-27B低1.1个百分点(−1.6至−0.6),在1,046道模糊表述问题上为39.1%。
启示与展望
这项工作评估的是文本输入的分类式放射决策,覆盖报告阅读、病例诊断与分类、放射知识三类任务,共15项任务、14,142道留出问题,并在另一机构的RadGraph-XL报告上做了外部测试。模型面向需要在机构内部运行、答案可以事先列出的判断,例如检查选择、优先级排序、亚专科分流和报告错误检测;27B模型可在两块48 GB GPU上运行,9B模型可在一块上运行。作者提出下一步应与放射科医师在机构报告上做读者研究,答案空间取自本机构目录,并在其他机构的报告和申请单上检验错误检测与适宜性判断。
评估使用的是公开数据,Eurorad、RadCases、ReXErr、MedMCQA和MedQA的测试划分与训练划分来自同一批数据集,ReXErr报告中的错误由大语言模型插入,跨机构泛化只在一个外部测试集上评估。部分任务题量很少,RSNA-RadioQA为79题,放射筛选后部分知识任务更少,其单项估计精度较低。大语言模型对照Qwen3.8-27B为零样本、单一提示,未在同一数据上微调,因此决策格式与领域微调的贡献没有被分开。每个模型只训练一次、使用单一随机种子。公开考题和Eurorad病例可能已出现在预训练数据中,但Qwen3.8-27B、Kev-27B和RadKev-27B共享同一骨干,这一暴露在主要比较中是共同的。延迟在单请求下测量,批量服务可能改变各系统的吞吐。
