音频大模型说“有声音”时,证据在不在那段波形里:抹掉CLAP定位区,翻转率16.8%对随机3.1%
把音频大模型声称听到的那段波形单独抹掉,比抹掉同样长的随机片段更能推翻它的“有声音”判断,说明这类幻觉至少部分依赖可定位的音频证据,而按位置做对比解码还能把Qwen2-Audio的准确率从57.1%提到71.9%。
把音频大模型声称听到的那段波形单独抹掉,比抹掉同样长的随机片段更能推翻它的“有声音”判断,说明这类幻觉至少部分依赖可定位的音频证据,而按位置做对比解码还能把Qwen2-Audio的准确率从57.1%提到71.9%。
该工作提出 AnswerMap:把图像切成 K 个行条带与 K 个列条带,分别单独送入冻结的视觉语言模型并问一个关于查询的是/否问题,取行、列“yes”后验的外积得到查询条件下的空间图,再在图上定义固定读出(如期望、最大值)直接导出连续输出;在四个模型、三种查询分布上,该图与模型自身生成点的 AUC 为 0.85(注意力为 0.38),删除其区域使 53% 的正确答案翻转(注意力为 19%),并可用最大值标记幻觉对象、用期望在模型自身指向失败时定位、用最高质量区域裁剪修正约一半错误答案。
该研究用激活修补在横跨八个LLM家族的二十五个模型上识别出VQ分词视觉语言模型共有的早期层(L0)注意力路由回路,提出三门槛诊断区分出十个携带该回路的模型并排除其余十五个,通过单变量架构替换(LLaVA-1.6 CLIP+MLP→VQ+Linear)证明向量量化是该病理性信号的来源,并显示只有L0消融能在开放生成中降低物体幻觉(CHAIR_i相对下降31%),而调优后的DoLA与VCD无此效果。
已读完全部报道