音频大模型说“有声音”时,证据在不在那段波形里:抹掉CLAP定位区,翻转率16.8%对随机3.1%
导语
把音频大模型声称听到的那段波形单独抹掉,比抹掉同样长的随机片段更能推翻它的“有声音”判断,说明这类幻觉至少部分依赖可定位的音频证据,而按位置做对比解码还能把Qwen2-Audio的准确率从57.1%提到71.9%。
正文
音频大模型对不存在声音的幻觉,可以靠“抹掉它自己指认的那段音频”来检验:如果抹掉后模型仍坚持说有,这个判断就不依赖那段证据。 此前的推理期缓解方法Audio-Aware Decoding把真实录音与一段全零波形对比,而全零波形对音频编码器是分布外输入,把“证据缺失”和“输入畸形”混在一起。 在Qwen2-Audio-7B上,抹掉CLAP定位窗口的原始AUROC为0.613,低于全零波形的0.721;但全零波形抹掉整段音频(中位时长约10秒),而定位窗口只有2到4秒,用随机窗口单元拟合的时长回归几乎精确预测了全零波形的平均效应(预测0.126对实际0.126),说明这一优势主要来自抹掉的时长而非定位本身。
把抹掉的时长固定成一样,定位窗口就稳定胜过同样大小的随机窗口,两个模型、四个网格单元全部如此。 此前只能比较不同大小的干预,定位是否真的有用无法从原始AUROC排序中读出。 在4秒、衰减30 dB设置下,Qwen2-Audio上定位窗口的平均下降为0.079、随机窗口为0.016(Wilcoxon检验显著),Audio Flamingo 3上为0.126对0.016;在合成对照中,抹掉真实插入位置翻转16.8%的真阳性,抹掉CLAP猜测位置翻转10.5%,抹掉随机窗口翻转3.1%,而CLAP窗口与真实位置的平均IoU只有0.45。
同一套对比也能在解码阶段纠正答案:用语言先验做对比解码,Qwen2-Audio的准确率从57.1%升到68.2%,与全零波形对比结合并加门控后达到71.9%。 全零波形对比解码(AAD-CD)在同一模型上只到64.7%,而单独用定位对比解码只有59.6%。 在Qwen2-Audio上,语言先验对比解码修复了部分幻觉同时破坏了部分正确判断,AAD-CD更保守,两者纠正的错误只有部分重叠,因此合并后超过任一单独对比的最好成绩;5折交叉验证给出约14.8个百分点的提升。
接下来
这套检验面向音频语言模型的物体存在性判断,在公开基准AudioCaps、ESC-50、VocalSound的物体存在性划分上运行,覆盖Qwen2-Audio-7B、Audio Flamingo 3与Qwen2.5-Omni-7B三个模型,全部以黑盒方式查询、无需训练。解码阶段的合并与门控规则在Qwen2-Audio上验证,每次查询需要两次前向传播,语言先验是按类预计算的常数。
Qwen2-Audio上定位与随机的差距只有一部分来自CLAP定位精度,即使抹掉真实位置也只翻转16.8%的这类判断,说明存在真实的部分位置不敏感性。语言先验集成在逐样本层面显著,按类层面不显著,且未做多重比较校正。Qwen2.5-Omni只报告了主要数字,Phi-4-multimodal与FLAM因依赖不兼容未能运行。在更短的HalluAudio基准上,时长匹配效应明显减弱,但Qwen2-Audio上仍有小幅残留。跨模型迁移的因果画像在双向测试中都输给目标模型自身最好的固定对比,作者将其视为真实的负结果。
