Shamanthak Hegde

该研究用激活修补在横跨八个LLM家族的二十五个模型上识别出VQ分词视觉语言模型共有的早期层（L0）注意力路由回路，提出三门槛诊断区分出十个携带该回路的模型并排除其余十五个，通过单变量架构替换（LLaVA-1.6 CLIP+MLP→VQ+Linear）证明向量量化是该病理性信号的来源，并显示只有L0消融能在开放生成中降低物体幻觉（CHAIR_i相对下降31%），而调优后的DoLA与VCD无此效果。

该研究用激活修补在横跨八个LLM家族的二十五个模型上识别出VQ分词视觉语言模型共有的早期层（L0）注意力路由回路，提出三门槛诊断区分出十个携带该回路的模型并排除其余十五个，通过单变量架构替换（LLaVA-1.6 CLIP+MLP→VQ+Linear）证明向量量化是该病理性信号的来源，并显示只有L0消融能在开放生成中降低物体幻觉（CHAIR_i相对下降31%），而调优后的DoLA与VCD无此效果。