# 头驱动激活引导

医学视觉语言模型在权威口吻的提示下会改口附和，而提示词层面的防御即使把答案纠正回来，内部对图像证据的利用仍在后段融合层塌陷。HD-AS 不改参数，先用中性提示与偏置提示之间的激活漂移挑出与附和相关的注意力头，再在推理时对这些头的输出投影做各向同性阻尼。在 SLAKE 上，Qwen2.5-VL-7B 的平均条件翻转率降到34.60%，低于对比解码的38.29%，中性提示准确率保持在74.37%。

医学视觉语言模型在权威口吻的提示下会改口附和，而提示词层面的防御即使把答案纠正回来，内部对图像证据的利用仍在后段融合层塌陷。HD-AS 不改参数，先用中性提示与偏置提示之间的激活漂移挑出与附和相关的注意力头，再在推理时对这些头的输出投影做各向同性阻尼。在 SLAKE 上，Qwen2.5-VL-7B 的平均条件翻转率降到34.60%，低于对比解码的38.29%，中性提示准确率保持在74.37%。