跳到主要内容
返回时间线
arXiv来源发表:

录音想变多响就变多响:给一个dB SPL目标值,WavLM特征空间里做到目标强度变化的83%

导语

语音强度转换现在可以直接指定一个连续的声压级目标值,在冻结的WavLM第六层特征上训练的小型转换器实现了目标强度变化的83%,听感强度也随目标升高。

Source-provided article image: Vocal Intensity Conversion with Continuous SPL Control via Adversarial Training
Figure 2 · arXiv

正文

语音强度转换的目标从参考录音或几个离散档位换成了一个连续的声压级数值,也就是以分贝表示的、在离嘴一米处测得的绝对声压级。 此前的系统要么用一段已经带有目标强度的参考录音来控制,要么在语料自带的离散噪声或用力档位里选一个。 在标定语料AVID上,用同一套转换器架构和同一套训练目标比较三种特征空间,WavLM第六层在预测强度位移上的斜率为0.83,log-mel为0.62,SpeechTokenizer为0.58。

转换只改动冻结编码器输出的帧序列,编码器和解码器都不训练,因此输出保留所选编解码对的音质。 此前的做法是重新训练表示本身,例如把SpeechTokenizer的第二层量化层蒸馏自一个专门的发声用力编码器。 转换器是一个六层双向Transformer,按条件GAN训练,用最小二乘损失、投影式条件判别器和循环一致性约束,训练不需要平行数据,也不需要把强度预测器放进生成器目标里。

听感实验显示,转换后的语音被感知到的响度随目标值单调上升,听者对转换语音和自然语音的响度缩放方式一致。 此前的系统没有以物理单位给出的目标,因此无法报告目标强度是否达成。 在45到75 dB SPL之间取八个等间隔目标,四名测试说话人共64个刺激,与四个锚点配对成256对,另加32个控制对,81名听者中54人通过筛选;WavLM第六层转换的感知斜率是0.69,原始录音是0.68。

接下来

这套转换面向已标定、且已知嘴到麦克风距离的录音,目标值取在训练覆盖的范围内,输出保留源录音的内容和说话人身份。代码、模型权重和转换后的测试样本已公开。作者提出,由于没有一种特征空间在所有指标上都领先,可以用混合特征集配专用解码器来合并各自的长处;更关键的一步是用自动强度预测器估计训练源强度,从而在更大、未标定的语料上训练,并用独立的强度预测器做评估。

模型控制的是相对于源录音的强度,达到绝对感知水平则不那么一致:同一个目标值下,不同源录音的感知水平标准差约为6 dB。转换对基频和频谱量的位移小于原始录音,作者认为这留有改进空间。覆盖宽强度范围的标定语料稀少,限制了训练数据。听感实验只评估了WavLM第六层的转换。

来源