视觉语言模型不再整层压制幻觉：按注意力头归因，COCO多标签上CHAIR-i从18.0降到8.6
视觉语言模型常描述图中不存在的物体，以往抑制手段多在输出层或整层注意力上做干预，难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分，再在解码中抑制幻觉头、增强忠实头，无需训练。在1000张多标签COCO子集上，它把CHAIR-s/i从66.7/18.0降到43.4/8.6，F1从73.0升到77.0。
视觉语言模型常描述图中不存在的物体，以往抑制手段多在输出层或整层注意力上做干预，难以区分哪些注意力头对应忠实描述、哪些对应幻觉。HACP在推理时先用InfoSpectralScore按语义谱变化给每个注意力头打分，再在解码中抑制幻觉头、增强忠实头，无需训练。在1000张多标签COCO子集上，它把CHAIR-s/i从66.7/18.0降到43.4/8.6，F1从73.0升到77.0。
已读完全部报道