AudioSphere 用多声道自监督学出空间音频表征：冻结骨干首次直接做真实场景声事件定位
核心概要
AudioSphere 把自监督音频预训练从单声道扩展到多声道：以 Ambisonics 格式的四声道录音为输入，用掩码自编码器同时重建频谱与强度矢量，使冻结骨干在浅层探针下即可完成真实场景的声事件检测与定位。此前单声道模型对空间结构不可见，而空间模型依赖片段级监督。在 HEAR 上该模型聚合得分 83.2，并同时支持帧级定位。
深度剖析
自监督音频表征不再只从单声道信号学习，冻结的多声道预训练骨干可以直接输出帧级的方向信息，用于真实录音中的声事件检测与定位。 此前的自监督音频嵌入模型几乎只在 AudioSet、LibriSpeech 这类单声道语料上训练，对空间结构不可见；能捕捉方向线索的空间模型如 BAT 和 ELSA 则依赖片段级监督标签或对比式空间元数据，目标函数也不是为逐帧表征设计的。 在 TUT-2018 Real 上，冻结骨干加浅层 MLP 探针在重叠 1、2、3 三档的 F 分别为 82.1、74.7、71.1，错误率分别为 0.29、0.38、0.42，均优于表中 SELDNet、MSEDnet、SEDnet 等全监督基线；在 TAU-2019 上错误率 0.28、F 84.6，优于同域监督的 SELDNet 的 0.34 与 79.9。
模型把声学内容与方向线索放在同一个重建目标里学习，因此同一套嵌入既能做片段级分类，也能做帧级检测。 做法是多声道掩码自编码器：输入为四声道一阶 Ambisonics 的对数梅尔谱与强度矢量，强度矢量是由通道间相位和幅度关系算出的方向向量。 训练采用 tube masking，即随机选 80% 的时频位置并在所有通道上同时遮挡，迫使编码器从周围空间上下文推断方向通道；预训练数据由 Matterport3D 场景经 SoundSpaces 2.0 模拟出的 70,000 组 Ambisonic 房间冲激响应与 AudioSet 片段在线混合而成。
启示与展望
演示范围限于一阶 Ambisonics 输入下的声事件检测与到达方向估计，评测覆盖 TUT-2018 Real、TAU-2019、TAU-2020、TAU-2021、STARSS23 与平面阵列的 RSL2019-dev；距离估计、声源分离、去混响与房间声学推断不在评测之内。
预训练只模拟静态声源，冻结表征本身缺少跟踪运动声源所需的时间连续性先验，需要时间探针头或微调来弥补；此外 Ambisonics 编码质量受物理阵列空间采样能力限制，四面体阵列相对 32 通道 Eigenmike 存在残余定位差距。