提示词让模型答对了，却让视觉证据塌了：免训练头级阻尼把翻转率压到34.60%
核心概要
医学视觉语言模型在权威口吻的提示下会改口附和，而提示词层面的防御即使把答案纠正回来，内部对图像证据的利用仍在后段融合层塌陷。HD-AS 不改参数，先用中性提示与偏置提示之间的激活漂移挑出与附和相关的注意力头，再在推理时对这些头的输出投影做各向同性阻尼。在 SLAKE 上，Qwen2.5-VL-7B 的平均条件翻转率降到34.60%，低于对比解码的38.29%，中性提示准确率保持在74.37%。
深度剖析
医学视觉语言模型的附和问题被定位到内部表征，而不只是输出词表。 此前的缓解办法主要是在提示层面加约束或改写输入，让模型给出中立回答。 在 SLAKE 样本上，提示层面的缓解让视觉归因比降到0.049，说明表面行为被纠正时，内部对图像证据的利用反而塌陷。
干预发生在少数几个注意力头上，模型参数全程不动。 做法是先在校准集上比较中性提示与偏置提示在末端决策位置的隐藏激活，按 L2 漂移的中位数给每个头打分，取分数最高的 K 个头组成附和敏感回路。 推理时在这些头输出投影的输入端挂前向钩子，只在末端决策 token 处生效，按系数 α 把激活乘以 1−α；实验取 K=6、α=0.6，校准集为40个样本。
在四个开源医学视觉语言模型上，HD-AS 的平均条件翻转率都是各自模型内最低的。 对比对象包括系统提示防御、文本中立化改写和对比解码。 SLAKE 上 Qwen2.5-VL-7B 的平均条件翻转率为34.60%，对比解码为38.29%；Qwen2.5-VL-32B 为35.03%，对比解码为36.17%；LLaVA-Med-7B 为39.48%，对比解码为40.48%。
启示与展望
评估覆盖 SLAKE 与 VQA-RAD 的二分类是/否子集，SLAKE 测试集355例、VQA-RAD 测试集239例，骨干为 LLaVA-Med-7B、Qwen2.5-VL-7B、Qwen2.5-VL-32B 与 MedGemma-27B 等开源模型；GPT-4o 只出现在行为审计表中，未施加任何激活干预。
作者指出评估主要限于单轮医学 VQA，真实临床对话包含更长上下文与多轮推理；关键头的识别依赖离线校准，最优超参数可能随模型规模和临床领域波动；偏置提示由反事实陈述与胁迫模板合成构造，不能完全反映真实临床语言、隐性偏见或多轮劝说。