跳到主要内容
返回时间线
arXiv来源发表:

音频推理不再整段等长:模型先给每个推理段自评难度,MMAR准确率62.0%而生成token降62.3%

导语

音频推理模型改为在生成每个推理段之前先自评该段难度,并按难度分配推理长度;在MMAU-test-mini与MMAR上,相比没有难度监督的SFT,准确率分别提高2.6和6.3个百分点,生成token减少60.1%和62.3%。

Source-provided article image: SWEAR: Section-Wise Efficient Audio Reasoning via Self-Rated Difficulty
Figure 1 · arXiv

正文

音频推理的算力分配从整条推理链一个总难度,改为按推理段分别决定写多长。 此前的难度感知方法通常只用一个整体度量,例如rollout表现、注意力统计或轨迹级奖励,只能说明是否需要更多推理,难以指出该在哪一段多花算力。 在MMAU-test-mini与MMAR各1000例测试集上,SWEAR取得73.5%和62.0%的准确率,生成token为197.13和195.85,相比CoTA-SFT减少60.1%和62.3%。

模型在监督微调阶段学会先预测每段难度评分,再生成该段内容,评分成为因果条件而非事后标注。 DiCoTA在CoTA基础上为Planning、Caption、Reasoning三段标注难度,Summary使用固定预算,难度由五个维度刻画:制作质量、制作复杂度、整合分数、推理需求和问题质量。 其中制作质量与制作复杂度来自Audiobox Aesthetics,整合分数、推理需求与问题质量由Qwen3-Omni-30B-A3B给出;训练用402496例做SFT、113410例做RL,主干为Qwen2.5-Omni-7B。

强化学习阶段按预测评分控制每段长度,并用反馈驱动的课程逐步引入更难的样本。 长度奖励依据评分对应的目标长度比,评分越高允许生成的段落越长;KL系数随预测难度自适应,难度越高允许越大的偏离。 消融显示去掉评分校准在MMAU与MMAR上分别降低3.2和2.6个百分点,去掉长度塑形使输出增加19.5和29.6个token,静态KL在两个基准上都降低准确率。

接下来

报道覆盖的是MMAU-test-mini与MMAR各1000例测试集上的结果,评测以答案准确率为效果指标、平均生成token为效率指标,难度分组按与DiCoTA相同的流程独立划分。适用读者是关注大音频语言模型推理成本的研究与工程人员。作者把扩展到更多数据集和多模态推理领域列为后续方向。

难度评分依赖离线评估器,其中制作质量与制作复杂度来自Audiobox Aesthetics,整合分数、推理需求与问题质量来自Qwen3-Omni-30B-A3B。消融显示去掉长度塑形后MMAU准确率反而提高0.7个百分点,而MMAR下降1.6个百分点,说明长度控制在不同基准上的作用并不一致。课程桶数以四个时准确率最高,十个桶时token更少但准确率下降。

来源