跳到主要内容

# 医学视觉问答

2 篇关联报道

Nature Medicine 2026年10月29日
医学视觉语言模型不再只给结论：诊断均分0.895，还能把病灶框回像素
医学影像基础模型长期在“通用”与“像素级精确”之间取舍，且多数只输出结论、不交代依据。EVLF-FM 把疾病级与像素级两路视觉特征同时送入语言模型，先做监督微调，再用带可验证奖励的强化学习对齐推理与定位，覆盖皮肤科、肝病、眼科、病理、呼吸与放射六个专科、10 种成像模态。内部诊断验证中其平均准确率 0.895，为所比模型中最高；在 9 种模态的医学视觉定位上平均 Acc@0.5 为 0.842。
医学影像基础模型长期在“通用”与“像素级精确”之间取舍，且多数只输出结论、不交代依据。EVLF-FM 把疾病级与像素级两路视觉特征同时送入语言模型，先做监督微调，再用带可验证奖励的强化学习对齐推理与定位，覆盖皮肤科、肝病、眼科、病理、呼吸与放射六个专科、10 种成像模态。内部诊断验证中其平均准确率 0.895，为所比模型中最高；在 9 种模态的医学视觉定位上平均 Acc@0.5 为 0.842。
SingHealth Community Hospitals Stanford University Catholic University of Korea National University of Singapore Singapore National Eye Center Hokkaido University Nanyang Technological University Aier Eye Hospital Group (China)
Yang Bai（第一作者）Darren Shu Jeng Ting（通讯作者）Daniel Shu Wei Ting（通讯作者）
EVLF-FM 医学视觉语言基础模型视觉定位医学视觉问答组相对策略优化可解释人工智能
arXiv 2026年9月25日
ClinCoT 把偏好优化从答案层下沉到病灶区域推理：在 SLAKE、VQA-RAD、IU-Xray 上多数指标优于 MMedPO 等基线，SFT 初始化后提升更一致
该工作提出 ClinCoT，一个临床感知的视觉思维链框架：用临床假设驱动区域生成（借助 MedKLIP 类工具产生疾病条件激活图并提取候选区域），让目标 Med-VLM 在原始图像与各候选区域联合条件下生成多条区域条件推理链，再由两个 Med-LLM 评估器按当前步得分与下一步影响加权、并以评估器一致性惩罚分歧，构造偏好对；训练采用带分数间隔的 margin-aware DPO 与迭代式偏好数据再生成，在 SLAKE、VQA-RAD 与 IU-Xray 上多数指标优于 DPO、Self-Rewarding、STLLaVA-Med、POVID、SIMA、FiSAO 与 MMedPO，其中报告生成任务最强，VQA-RAD 上低于 MM
该工作提出 ClinCoT，一个临床感知的视觉思维链框架：用临床假设驱动区域生成（借助 MedKLIP 类工具产生疾病条件激活图并提取候选区域），让目标 Med-VLM 在原始图像与各候选区域联合条件下生成多条区域条件推理链，再由两个 Med-LLM 评估器按当前步得分与下一步影响加权、并以评估器一致性惩罚分歧，构造偏好对；训练采用带分数间隔的 margin-aware DPO 与迭代式偏好数据再生成，在 SLAKE、VQA-RAD 与 IU-Xray 上多数指标优于 DPO、Self-Rewarding、STLLaVA-Med、POVID、SIMA、FiSAO 与 MMedPO，其中报告生成任务最强，VQA-RAD 上低于 MM
Mohamed bin Zayed University of Artificial Intelligence East China Normal University
Xiwei Liu（第一作者）Yutong Xie（通讯作者）
ClinCoT 临床感知视觉思维链框架思维链偏好优化医学视觉语言模型医学视觉问答

已读完全部报道