音频语言模型听不全录音：补上声学信息后，结构任务准确率最高涨44.4个百分点
核心概要
音频语言模型的基准分数可能把语言能力误当成声学理解。研究用合成朗读和转写文本作参照，在6个基准的92项任务上测量原始录音相对文字的增益，发现19个开源模型在说话人、情绪等整体属性任务和重音、语调等录音内结构任务上落后Gemini 3.1 Pro 28.6和41.9个百分点，其中约一半以上来自录音增益。在Gemma-4 12B和Qwen2.5-Omni-7B的读出下降层训练LoRA适配器并加内容锚点后，两类任务准确率提升12.8至44.4个百分点，词汇任务平均准确率保持在基座模型1个百分点以内。
深度剖析
音频语言模型的基准分数会把语言建模能力和声学理解混在一起，因为不少题目只看转写文字甚至只看问题就能答对。 此前缺少一种保留原词、只替换声音的参照，来单独估计原始录音比文字多带来多少准确率。 在6个基准的92项任务、13,707个条目上，把原始录音分别与同一转写的合成朗读、与转写文本并列输入作比较，得到两个录音增益。
19个开源模型在需要整体属性或录音内结构的任务上明显落后于Gemini 3.1 Pro，差距中约一半以上来自它们从录音里获得的增益更小。 开源模型平均在属性任务上为46.7%、结构任务上为33.5%，Gemini 3.1 Pro分别为75.3%和75.4%，平均差距28.6和41.9个百分点。 两个录音增益在Gemini与开源模型均值之间分别相差17.9/15.8和23.3/19.9个百分点，方向一致。
在Gemma-4 12B和Qwen2.5-Omni-7B中，回答所需的声学信息在语言模型早期层就能被线性探针读出，但后续层的读出下降，答案准确率也远低于读出。 以音高为例，Gemma-4 12B第4层读出达97.9%、Qwen2.5-Omni-7B第2层达88.0%，而两者答案准确率只有49.4%和54.3%，机会水平为50%。 逐层线性探针在全部被探测任务上的峰值读出都高于答案准确率，多数任务的峰值出现在早期层。
在读出下降的层训练LoRA适配器并加入内容锚点，能大幅提高属性与结构任务准确率，同时把词汇任务准确率保持在基座模型附近。 Gemma-4 12B属性任务从34.7%升到53.6%、结构任务从35.4%升到66.2%；Qwen2.5-Omni-7B从56.7%升到69.5%、从34.0%升到78.4%。 两个模型的提升幅度为12.8至44.4个百分点，平均词汇准确率与基座模型相差不超过1个百分点，且提升主要体现为更大的录音增益。
启示与展望
测量与修复覆盖6个基准中可自动评分的92项任务、13,707个条目，修复只在Gemma-4 12B和Qwen2.5-Omni-7B两个模型上完成；多数条目是对单段录音提一个问题，多方对话任务只占评测的一小部分。
两个录音增益都依赖同一份Whisper转写，识别错误会同时影响两者；探针带监督训练并在结构题上获得分段边界，读出与答案准确率的差距因此也包含这些优势，不能单独证明模型闲置了已有信息。