跳到主要内容
返回时间线
researchsquare.com来源发表:

多模型投票没赢过单个小模型:783份放射报告上,通用推理模型准确率91.69%反超医疗专用模型

核心概要

在783份去标识化的乳腺钼靶、下肢全长与脑部磁共振自由文本报告上,一个由三个通用小模型加主席模型合成的“LLM议会”整体准确率为83.56%,低于医疗专用模型MedGemma 4B的88.72%,两者差异主要由下肢全长报告分类任务驱动。议会内部单个成员Qwen3-4B-2507在全部任务上取得最高准确率91.69%,高于议会与MedGemma;议会每份报告需四次模型调用、峰值显存约为MedGemma的2.44倍。

Source-provided article image: Comparison of performance of an LLM Council of LFM2.5-1.2B, Qwen3-4B-2507 and Phi-4-Mini- reasoning and Meta LLaMa 3.1 8B against MedGemma 4B on extraction and classification of free-text radiology reports
researchsquare.com

深度剖析

多模型共识合成的“LLM议会”在放射报告抽取与分类上并未超过医疗专用模型,整体准确率83.56%对88.72%。 此前的比较多集中在单个模型之间,议会式多模型架构与医疗专用模型在同一批报告上的直接对照此前缺少证据。 同一批783份报告上,McNemar检验给出整体p=0.0129,其中下肢全长分类任务p=0.0011,而乳腺钼靶与脑部磁共振两项任务差异不显著。

议会内部的一个通用模型单独使用就取得最高准确率,超过议会合成结果与MedGemma。 议会由LFM2.5-1.2B、Qwen3-4B-2507、Phi-4-Mini-reasoning三个成员与主席LLaMa 3.1 8B组成,合成后的输出并未保留最强成员的判断。 Qwen3-4B-2507在乳腺钼靶、下肢全长、脑部磁共振三项任务上分别为91.89%、92.93%、90.25%,整体91.69%,加权F1为0.8902;其合并准确率91.50%的95%置信区间与MedGemma的89.51%区间重叠。

议会的额外算力没有换来准确率提升,四模型并行带来约4.05倍参数量与四倍调用次数。 MedGemma为单个4B模型、每份报告一次调用,议会合计16.2B参数、每份报告四次调用。 实测平均单份报告推理时间3.187秒对2.775秒,约为1.15倍;平均峰值显存13.156 GB对5.391 GB,约为2.44倍。

启示与展望

结论建立在单一机构Max Healthcare Saket提供的783份去标识化报告上,覆盖BI-RADS与ACR抽取、下肢全长术前术后分类、脑部磁共振正常与异常分类三类文本任务。作者提出后续可在更大规模、多机构数据上评估议会与各单模型,并考察不同主席模型、加权投票等替代聚合方式,以及结合影像与报告的多模态输入和检索增强流程。

作者指出结果来自单中心、纯文本任务,不能据此认为通用模型在所有医疗场景都优于医疗模型;议会与MedGemma在下肢全长分类上的显著差异是整体差异的主要来源,而乳腺钼靶与脑部磁共振两项差异不显著。错误分析显示部分报告本身缺少明确的手术状态文字线索,议会合成有时未能保留成员给出的正确判断。