跳到主要内容
返回时间线
arXiv来源发表:

冻结的通用音频编解码器也能定位声源:AURA在双声源方向准确率上高出专用系统10.31个百分点

核心概要

AURA把未经空间监督训练的通用音频编解码器X-Codec与冻结的Qwen3-8B语言模型直接对接,用六槽双耳表示和场景监督完成空间问答。此前专用空间系统依赖单独训练的空间编码器,而仅用答案监督的接口在左右方向上只能达到随机水平。在SpatialSoundQA双声源场景中,AURA的方向准确率比最强专用系统DSpAST-BAT†高10.31个百分点,可训练参数约为后者的40%。

Source-provided article image: AURA: Auditory Spatial Intelligence via a Unified Representation from a General-Audio Encoder through Complete Alignment
arXiv

深度剖析

空间问答不再必须依赖单独训练的空间编码器:一个从未接受空间监督的通用音频编解码器,其冻结特征足以支撑多声源场景中的声源识别与定位。 此前的空间音频语言模型从专门训练的空间编码器取空间信息,空间与语义分处两套特征空间;而接收单声道输入的通用音频语言模型在空间问题上处于或低于随机水平,Qwen2-Audio单声源方向准确率为8.85%,随机预测器为12.57%。 在SpatialSoundQA双声源场景中,AURA的方向准确率比最强专用系统DSpAST-BAT†高10.31个百分点,可训练参数为64.63M,约为BAT与DSpAST-BAT†的161M量级的40%。

冻结编解码器里本来就有空间信息,只是按层分布且左右线索藏在双耳通道之差里,模型需要显式拿到这个差值才能用上它。 逐层受控分析显示,浅层残差矢量量化层更受声源内容影响,深层对双耳差异、房间声学和混响越来越敏感;左右信息从任一单通道只能部分恢复,通过两通道之差才可靠解码。 在单声源SpatialSoundQA上做线性探针,双耳特征把左右准确率从单通道的74.0%提到93.0%,前后与上下仅从71.7%、72.1%小幅升到72.9%、73.4%,说明增益集中在左右轴。

仅用答案监督的常规接口在左右轴上塌陷,且即使前后、上下高于随机,也只是读出场景属性而没有把方向绑定到被问的声源。 双声源训练中,四槽接口的左右准确率与多数类基线持平,前后和上下高于基线;按两源是否位于被问轴同侧分层后,同侧准确率高,异侧降到随机,三轴预测命中被问源与另一源的次数各约一半。 受控实验交叉四槽与六槽表示、答案监督与场景监督四种设置,共享冻结编解码器、Qwen3-8B骨干、投影器、LoRA配置与训练样本;任一干预单独都把左右提到随机以上,而异侧绑定只在两者结合时明显改善。

AURA把浅层与深层量化层聚成内容带和声学带,再为每个带加入左右通道之差,形成六槽表示,并用场景监督与几何监督对齐文本。 四槽接口把两个通道作为独立 token 交给语言模型,跨通道比较留给模型自己完成;场景监督则要求先描述每个可听声源的类别、方向与距离,再给出答案。 编解码器与Qwen3-8B骨干全程冻结,只训练投影器和LoRA模块共64.63M参数;在SpatialSoundQA上单声源方向准确率73.58%、双声源48.21%,双声源距离误差率64.72%为对比系统中最低。

启示与展望

演示范围是SpatialSoundQA上的双耳静态声源场景,训练与评测都使用SoundSpaces 2.0在Matterport3D建筑中仿真的房间脉冲响应;作者把结果解读为冻结通用音频编解码器足以在该数据集上取得有竞争力的空间问答,而非证明它优于专用编码器。

作者指出AURA与基线在多个组件上不同,因此对比是系统级的,各组件作用由受控实验单独确立;可训练的双耳空间问答语料仍然稀少,BiDepth与SpatialSoundQA共用声源、模拟器和建筑,无法提供独立的泛化检验。