跳到主要内容
返回时间线
arXiv来源发表:

音频推理不再整段等长:模型先给每个推理段自评难度,MMAR准确率62.0%而token降六成

核心概要

音频大模型做显式推理时,此前多用一个整体难度信号决定要不要多想,难以指导推理链内部各段该分配多少算力。SWEAR把难度拆成声学质量、声学复杂度与推理需求等五个维度,先离线给推理链的规划、描述、推理三段打分并压缩参考轨迹,再让模型在监督微调中学会在生成每段之前先预测该段难度,随后用强化学习按自评难度控制各段长度。在MMAU-test-mini与MMAR上,相比无难度监督的CoTA-SFT,准确率分别提高2.6与6.3个百分点,生成token减少60.1%与62.3%。

Source-provided article image: SWEAR: Section-Wise Efficient Audio Reasoning via Self-Rated Difficulty
Figure 1 · arXiv

深度剖析

音频推理的算力分配从整条轨迹一个难度判断,改为推理链内部逐段判断。 此前的难度感知方法通常只给出一个整体度量,例如rollout表现、注意力统计或轨迹级奖励,只能说明是否需要更多推理,无法指出推理链中哪一段更吃力。 在MMAU-test-mini与MMAR各1000例测试集上,SWEAR相比无难度监督的CoTA-SFT准确率提高2.6与6.3个百分点,同时生成token减少60.1%与62.3%。

难度信号由模型在生成每段内容之前自己预测,并直接作为该段的因果条件。 难度不再只是事后标注,而是先于对应段落生成,因此可以实时决定该段写多长。 在监督微调阶段,模型学习预测每段难度评级;在强化学习阶段,评级决定该段的目标长度比例,评级越高允许生成的段落越长。

推理长度随难度上升而增加,而不是所有样本使用同一预算。 统一压缩轨迹会让简单与困难样本得到相近的推理长度。 随难度增加,模型在MMAU上的平均输出长度从172.8增至222.5个token,在MMAR上从174.4增至223.2,同时在各难度分组上比CoTA-SFT短58.3%至63.3%。

启示与展望

报告的范围限于MMAU-test-mini与MMAR两个各1000例的音频推理测试集,骨干模型为Qwen2.5-Omni-7B,训练数据来自DiCoTA的402496条监督微调样本与113410条强化学习样本。适合关注音频大模型推理效率与自适应算力分配的研究人员和工程师阅读。作者提出把难度感知原则扩展到更多数据集与多模态推理方向。

难度评级由模型自评,其校准依赖对离线未量化难度的软标签约束,去掉该校准后MMAU与MMAR准确率分别下降3.2与2.6个百分点。长度塑形去掉后MMAU准确率上升0.7个百分点而MMAR下降1.6个百分点,说明长度控制与准确率的关系在两个基准上并不一致。课程分桶数目的消融显示四个桶准确率最高,更多桶并未继续提升。