医疗视觉语言模型不只看准确率：1638次受控实验测出置信度校准的薄弱环节
核心概要
医疗视觉语言模型的评估长期以准确率为中心，置信度是否可信缺少系统对照。MVC-Bench把校准拆成鲁棒性、校准与提示微调方法有效性、提示模板与随机种子稳定性三条轴，覆盖眼底、组织病理和胸片三种模态、八个骨干与六种提示微调方法，共1638次受控实验。结果显示域内校准排名在域偏移下几乎不保持，30次排名迁移检验的平均Kendall相关系数为−0.0598，且没有一次显著为正；据此提出的多类间隔正则化在12个域内设置中的10个取得最低ECE，域偏移下则只在4个设置中最低。
深度剖析
医疗视觉语言模型的置信度校准现在有了专门的评测协议，而不是只看分类准确率的排行榜。 此前的提示微调方法主要优化准确率，校准在医学领域研究不足，而临床部署要求置信度接近真实正确率。 评测覆盖八个骨干、三种模态和域内与域偏移两种设置，共1638次种子级受控运行，以准确率和20分箱ECE为主要指标，并辅以MCE与ACE。
在域内选出的校准方法排名，换到外部数据集后基本不能沿用。 此前缺少对域内校准排名能否预测域偏移表现的直接检验。 在30次域内到域偏移的排名迁移检验中，Kendall τb的均值为−0.0598、中位数为−0.0476，17次为负、13次为正，没有一次在p<0.05下显著为正。
校准误差与准确率之间不存在普遍同向关系，方向取决于校准方法和骨干。 准确率本身无法说明模型是否在类别不平衡或患病率漂移下仍然自信地出错。 按方法与骨干计算准确率与ECE的Pearson相关，TS、MDCA和MBLS多为负相关，ECCV_Penalty则持续为正相关，X射线骨干因数据集对有限出现±1的极端值。
多类间隔正则化把样本从低间隔区推向中等间隔，在域内多数设置上降低校准误差。 可靠性图显示欠自信来自正确类logit仅略高于竞争类logit，而MBLS只压低极端间隔、没有抬升小间隔。 在12个模态特定设置中，MCM在10个域内设置取得最低ECE，域偏移下为4个；配对Wilcoxon检验对ECCV_ZS为p=0.0212、对ECCV_Penalty为p=0.0005，域偏移下无显著优势。
启示与展望
评测范围限于医学图像分类，覆盖眼底、组织病理与胸片三种模态的域内和域偏移设置；分割、检测、报告生成、检索和医学视觉问答使用不同的不确定性定义与评测协议，不在其中。MCM的超参数只在验证数据上选定后固定用于其余骨干、模态和域偏移评估，四折眼底留一数据集分析在每一折都独立选出同一组取值。
MCM针对低间隔欠自信，在PLIP-Histo.和QuiltNet-Histo.上该模态的过自信更突出，因此ECE反而升高；域偏移下MCM并非一致占优，配对比较均未达到显著。作者也指出，模态特定的间隔行为与更广泛临床偏移下的校准目标仍需进一步研究。