跳到主要内容
检索

# 医学视觉语言模型

4 篇关联报道

订阅更新
  1. aclanthology.org

    医疗视觉语言模型不只看准确率:1638次受控实验测出置信度校准的薄弱环节

    医疗视觉语言模型的评估长期以准确率为中心,置信度是否可信缺少系统对照。MVC-Bench把校准拆成鲁棒性、校准与提示微调方法有效性、提示模板与随机种子稳定性三条轴,覆盖眼底、组织病理和胸片三种模态、八个骨干与六种提示微调方法,共1638次受控实验。结果显示域内校准排名在域偏移下几乎不保持,30次排名迁移检验的平均Kendall相关系数为−0.0598,且没有一次显著为正;据此提出的多类间隔正则化在12个域内设置中的10个取得最低ECE,域偏移下则只在4个设置中最低。

  2. aclanthology.org

    提示词让模型答对了,却让视觉证据塌了:免训练头级阻尼把翻转率压到34.60%

    医学视觉语言模型在权威口吻的提示下会改口附和,而提示词层面的防御即使把答案纠正回来,内部对图像证据的利用仍在后段融合层塌陷。HD-AS 不改参数,先用中性提示与偏置提示之间的激活漂移挑出与附和相关的注意力头,再在推理时对这些头的输出投影做各向同性阻尼。在 SLAKE 上,Qwen2.5-VL-7B 的平均条件翻转率降到34.60%,低于对比解码的38.29%,中性提示准确率保持在74.37%。

  3. arXiv

    ΔRepresentation 用反事实推理把病灶表型建模为相对正常解剖的表征增量,在六个医学 VLM 上同时提升病灶定位与表型识别

    该工作提出 ΔRepresentation,一个面向医学视觉语言模型的视觉表型表征学习框架:BaseAnatomy 用理想空间分布对正常解剖表征施加几何监督,Phenotype 通过反事实推理估计病灶块对应的正常解剖参考并学习表型特异的表征增量,使同一表型的增量在表征空间中聚集。在 ReXGroundingCT 与 LIDC-IDRI 上,该方法在六个预训练医学 VLM 上一致提升病灶定位与表型识别准确率。

  4. arXiv

    ClinCoT 把偏好优化从答案层下沉到病灶区域推理:在 SLAKE、VQA-RAD、IU-Xray 上多数指标优于 MMedPO 等基线,SFT 初始化后提升更一致

    该工作提出 ClinCoT,一个临床感知的视觉思维链框架:用临床假设驱动区域生成(借助 MedKLIP 类工具产生疾病条件激活图并提取候选区域),让目标 Med-VLM 在原始图像与各候选区域联合条件下生成多条区域条件推理链,再由两个 Med-LLM 评估器按当前步得分与下一步影响加权、并以评估器一致性惩罚分歧,构造偏好对;训练采用带分数间隔的 margin-aware DPO 与迭代式偏好数据再生成,在 SLAKE、VQA-RAD 与 IU-Xray 上多数指标优于 DPO、Self-Rewarding、STLLaVA-Med、POVID、SIMA、FiSAO 与 MMedPO,其中报告生成任务最强,VQA-RAD 上低于 MM

已读完全部报道