医学视觉语言模型不再只给结论：诊断均分0.895，还能把病灶框回像素
核心概要
医学影像基础模型长期在“通用”与“像素级精确”之间取舍，且多数只输出结论、不交代依据。EVLF-FM 把疾病级与像素级两路视觉特征同时送入语言模型，先做监督微调，再用带可验证奖励的强化学习对齐推理与定位，覆盖皮肤科、肝病、眼科、病理、呼吸与放射六个专科、10 种成像模态。内部诊断验证中其平均准确率 0.895，为所比模型中最高；在 9 种模态的医学视觉定位上平均 Acc@0.5 为 0.842。
深度剖析
一个医学视觉语言模型现在能同时给出诊断结论、自由文本回答和像素级病灶定位，并为结论附上分步的文字解释。 此前的医学基础模型多为单一模态，多模态模型在分割和医学视觉定位这类需要像素级精度的任务上表现偏弱，且大多仍是不交代依据的黑箱。 内部诊断验证中，EVLF-FM 在所评估模型里取得最高平均准确率 0.895，在准确率和 F1 上均优于全部通用视觉语言模型；在 11 个数据集上，它在 6 个上准确率高于专科深度学习模型、在 4 个上高于专科基础模型。
模型把整图层面的疾病特征与保留空间细节的像素特征分别编码，再一起投影进语言模型的表示空间，让诊断推理和区域定位共用同一套输入。 常规做法只把图像池化成一个全局向量，或只给最终预测，缺少可定位到具体区域的视觉依据。 训练使用来自 18 个全球数据集、10 种成像模态、超过 130 万份样本；外部验证另用 17 个数据集的 13,443 份独立测试样本，覆盖 10 种成像模态。
训练分两段：先用低秩适配做监督微调，再用 GRPO 强化学习，奖励由诊断正确性、定位交并比和句级临床推理对齐三部分构成。 只用强化学习、不经监督初始化时性能明显下降，准确率/F1 为 0.676/0.531；仅监督微调为 0.845/0.769，加上 GRPO 后升到 0.858/0.797。 12 名医生（4 名初级、8 名专科，覆盖放射、病理与眼科）按 S.C.O.R.E. 框架评分，总体均分 4.25/5，其中客观性一项最高，为 4.36。
启示与展望
已展示的范围是静态二维图像上的诊断、医学视觉问答与像素级定位，训练与测试数据来自公开、受控访问和受限访问的临床数据集，覆盖六个专科与 10 种成像模态；作者明确将其定位为可继续下游微调的通用多模态骨干，而非可直接部署的系统。
作者指出模型当前准确率尚未达到直接临床部署通常要求的水平，视觉问答表现普遍低于诊断分类；模型只处理静态二维图像，不显式处理体数据；训练数据虽大仍只覆盖真实世界多样性的一部分，代表性不足的群体、设备或罕见病变上预测可能欠可靠；作者要求在前瞻性临床研究评估安全性、有效性与临床效用之前不作常规部署。