视觉语言模型不再整层压制幻觉：按注意力头归因，COCO多标签上CHAIR-i从18.0降到8.6
核心概要
视觉语言模型常描述图中不存在的物体，以往抑制手段多在输出层或整层注意力上做干预，难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分，再在解码中抑制幻觉头、增强忠实头，无需训练。在1000张多标签COCO子集上，它把CHAIR-s/i从66.7/18.0降到43.4/8.6，F1从73.0升到77.0。
深度剖析
幻觉控制的作用点从输出层和整层注意力下移到单个注意力头：同一层里被认为助长幻觉的头被压低，被认为支撑忠实描述的头被加强。 此前的缓解手段多依赖输出层或粗粒度干预，难以选择性调控与忠实生成和幻觉生成相关的注意力头，且常以牺牲描述覆盖为代价。 在1000张随机抽取的多标签COCO图像上，HACP把CHAIR-s/i从Vanilla的66.7/18.0降到43.4/8.6，F1从73.0升到77.0；召回率70.8接近Vanilla的69.1，精确率则从77.3升到89.0。
每个注意力头的忠实或幻觉倾向由一次扰动后的语义谱变化来打分，而不是只看输出分布偏移。 以KL散度为代表的输出级度量只能反映分布变化，无法说明变化是否改善语义对齐，忠实头和幻觉头都可能得到高分。 InfoSpectralScore把主方差EigenScore与惩罚各向异性的谱方差、刻画谱集中程度的谱熵组合起来，在目标层上逐头做均值替换扰动后计算，再按分位数把头部划入忠实集与幻觉集。
打分之后不是简单置零，而是在解码时按方向加减各头输出，并按输入自适应搜索强度。 零消融或均值消融一类常规剪枝过于剧烈，容易过度惩罚模型、削弱语义表达。 实现上通过推理期前向钩子对忠实头加上、对幻觉头减去按平滑比值缩放的集合平均方向，不增加参数；单图任务流程还会针对当前图文对做小规模贝叶斯优化来选调制强度与平滑系数。
启示与展望
评估集中在实例级物体幻觉，即输出中提及图中不存在的物体；实验模型为LLaVA-1.5-7B/13B、Shikra-7B与Qwen2.5-VL-7B-Instruct，基准为COCO上的CHAIR、完整POPE与MME。属性幻觉与空间幻觉不在当前评估范围内。
作者指出架构差异可能影响被选中的注意力头以及干预在已评估模型之外的迁移效果；完整任务流程要为每个实例增加归因与贝叶斯搜索，需要重复解码，固定配置版本则对所有输入共用一套剪枝参数。