CallCleaner把音频基础模型蒸馏成19M参数降噪器：野外动物录音在笔记本CPU上比实时快约90倍
核心概要
野外动物录音常混入风雨、车辆和虫鸟声，而干净训练数据稀缺。CallCleaner把通用音频源分离基础模型SAM-Audio蒸馏成一个1890万参数的波形到波形降噪器，不需要检测器或提示，在笔记本CPU上比实时快约90倍。在Biodenoising测试基准的47段不超过30秒的片段上，它留在叫声周围的噪声比Biodenoising少11 dB，并在44/47段上更好。
深度剖析
野外动物叫声的降噪现在可以交给一个不需要检测器、不需要GPU的小模型完成，输出直接从输入波形计算，而不是重新生成音频。 此前要么用经典谱门限，要么用为生物声学训练的神经降噪器；前者在缺少语音活动检测时残留噪声，后者去噪更少。 在Biodenoising测试基准的47段不超过30秒片段上，CallCleaner留在叫声周围的噪声比Biodenoising少11 dB，并在44/47段上更好；按叫声内能量归一化后仍少11.2 dB，42/47段更好。
做法是先把通用源分离基础模型当作教师，再把它压缩成一个只看输入音频的小降噪器。 SAM-Audio是流匹配扩散变换器，以音频编解码器潜变量生成目标流和残差流，可接受文本提示和时间跨度条件；单独用文本提示时常选错目标。 用简单动物语音活动检测器给出的时间跨度提示SAM-Audio后，它在所有系统中去除噪声最多；以这些伪标签蒸馏出的CallCleaner在笔记本CPU上比实时快约90倍，与Biodenoising速度相当。
评价方式也改了：不再只看SI-SDR，而是把叫声周围的噪声、叫声下方的噪声和叫声本身的失真分开测量。 SI-SDR逐样本比较波形，惩罚任何偏离参考的改动，把去噪与叫声保真混在一起；仅让干净叫声通过SAM-Audio的编解码器、不做任何分离，SI-SDR中位数就只有7.2 dB。 在Biodenoising测试基准上，CallCleaner与Biodenoising的SI-SDR同为13.0 dB，但前者留在叫声周围的噪声少11 dB，说明单一SI-SDR看不出这一取舍。
启示与展望
演示范围是单一显著前景动物、叫声被背景噪声间隔开的录音，评测使用Biodenoising测试基准中47段不超过30秒的片段，混合真实野外噪声至三种信噪比并统一重采样到16 kHz。作者提出未来可扩展到密集目标和按叫声来源条件化，并改进启发式语音活动检测器。
SAM-Audio的训练数据未公开，47段干净叫声中有18段出现在FSD50K中，因此不能排除教师见过这些片段；不过CallCleaner的伪标签来自另外的野外录音，在不在FSD50K中的29段里仍有26段比Biodenoising去除更多噪声。作者还指出，侵入式指标受参考质量限制，若参考本身含背景噪声，去噪会被计入缺失而低估性能；极低频、极高频叫声和脉冲噪声仍然困难；评测反映人类听觉，动物可能感知不同。