跳到主要内容
检索

# 大型音频语言模型

7 篇关联报道

订阅更新
  1. arXiv

    音频语言模型听不全录音:补上声学信息后,结构任务准确率最高涨44.4个百分点

    音频语言模型的基准分数可能把语言能力误当成声学理解。研究用合成朗读和转写文本作参照,在6个基准的92项任务上测量原始录音相对文字的增益,发现19个开源模型在说话人、情绪等整体属性任务和重音、语调等录音内结构任务上落后Gemini 3.1 Pro 28.6和41.9个百分点,其中约一半以上来自录音增益。在Gemma-4 12B和Qwen2.5-Omni-7B的读出下降层训练LoRA适配器并加内容锚点后,两类任务准确率提升12.8至44.4个百分点,词汇任务平均准确率保持在基座模型1个百分点以内。

  2. arXiv

    音频推理不再整段等长:模型先给每个推理段自评难度,MMAR准确率62.0%而token降六成

    音频大模型做显式推理时,此前多用一个整体难度信号决定要不要多想,难以指导推理链内部各段该分配多少算力。SWEAR把难度拆成声学质量、声学复杂度与推理需求等五个维度,先离线给推理链的规划、描述、推理三段打分并压缩参考轨迹,再让模型在监督微调中学会在生成每段之前先预测该段难度,随后用强化学习按自评难度控制各段长度。在MMAU-test-mini与MMAR上,相比无难度监督的CoTA-SFT,准确率分别提高2.6与6.3个百分点,生成token减少60.1%与62.3%。

  3. arXiv

    音频大模型说“有声音”时,证据在不在那段波形里:抹掉CLAP定位区,翻转率16.8%对随机3.1%

    把音频大模型声称听到的那段波形单独抹掉,比抹掉同样长的随机片段更能推翻它的“有声音”判断,说明这类幻觉至少部分依赖可定位的音频证据,而按位置做对比解码还能把Qwen2-Audio的准确率从57.1%提到71.9%。

  4. arXiv

    AdaLoop 用自适应深度循环模块让音频语言模型按问题难度分配推理步数,三个骨干平均准确率提升 2.9 至 3.8 分

    AdaLoop 用一个轻量循环模块替换音频编码器与语言模型之间的线性投影,由问题引导的共享 transformer 块反复精炼音频表示,并用可学习停机机制决定每个音频—问题对需要多少步;在 Qwen2.5-Omni-7B、Kimi-Audio-7B-Instruct 和 MiMo-Audio-7B-Instruct 三个骨干上,于 MMSU、MMAU-Pro、MMAR 三个基准把平均准确率提升 2.9 至 3.8 分,增益集中在感知类子任务,且学到的深度分布显示信号级问题平均用 5.7 步、语义问题仅 2.6 步。

  5. arXiv

    微调大型音频语言模型并注入低层声学特征与说话人人口学信息,在构音障碍语音检测上超越深度学习基线,Qwen2-Audio-Instruct 达到当前最优

    该工作提出一个框架,将语音录音与包含低层声学特征和说话人人口学信息的文本一起用于微调大型音频语言模型(LALMs)以检测构音障碍语音;在两个 LALM 上该框架均优于基于深度学习的基线,其中 Qwen2-Audio-Instruct 取得当前最优性能,消融实验显示微调时加入声学特征与说话人人口学信息可提升性能,而单独使用 LALM 的零样本表现仅为随机水平。

  6. arXiv

    将mDPO偏好学习扩展到音频域:Qwen2-Audio在DCASE 2025与AH Existence上分别提升14.0与27.4个百分点

    该工作把面向视觉语言模型的多模态直接偏好优化(mDPO)迁移到音频域,用反转、随机噪声、时频掩蔽等声学扰动构造“完好音频对扰动音频”的偏好对,在Qwen2-Audio-7B-Instruct上训练,使DCASE 2025音频问答整体准确率由56.0%升至70.0%,AH Existence由55.6%升至83.0%。

  7. arXiv

    VoxMem 用 3196 道题测 15 个音频大模型:32K 上下文下无一超过 40%,换成文字稿后说话人识别从 69.8% 掉到 10.3%

    研究者提出按“声学证据类型(语音语义、说话人身份、副语言线索、环境声音)×记忆操作(信息抽取、多会话推理、时序演化追踪、拒答)”两轴组织的口语对话记忆分类法,并据此构建 VoxMem 基准:3196 个评测实例、34743 段会话、177 小时音频,覆盖 8K 至 64K 四种上下文预算;评测 15 个大型音频语言模型后发现,32K 预算下无一模型总体准确率超过 40%(最强 38.5%),模型对“说了什么”的记忆明显好于“谁说的、怎么说的、周围有什么声音”,且把音频换成精确文字稿后说话人准确率从 69.8% 降至 10.3%,而语音语义仅从 75.9% 微降至 71.0%。

已读完全部报道