Convolutional VocalTrax 换掉逐样本递归：声道前后向在 A100 上快 47 到 63 倍，重建语音识别率反升
核心概要
Convolutional VocalTrax 把可微发声合成中逐样本推进的声道递归换成固定块卷积：先精确算出同一波导的频响，再按 5.8 毫秒分块做因果卷积，梯度只经过 FFT 和沿声道的 43 步递归。在 600 条 AudioMNIST 录音上，声道前向加反向在 A100 上快 47 到 63 倍；只用真实语音训练的 wav2vec 2.0 分类器识别其重建语音的比例为 14.5%，高于 VocalTrax 的 10.0%，尽管对数梅尔距离高出 11%。
深度剖析
发声合成的拟合不再需要沿时间反向传播。Convolutional VocalTrax 让梯度穿过频域变换和一段沿声道的短递归，而不是穿过每个音频样本两次的波导更新。 VocalTrax 的声道是每采样推进两次的 Kelly-Lochbaum 波导，每秒音频约有 88000 次顺序更新，反向传播要穿过整条递归链。 在 A100 上，声道前向加反向对 1 秒到 60 秒输入快 47 到 63 倍，且两项开销都随时长线性增长；完整 1000 步拟合三条录音从 12 到 18 分钟降到 3.8 到 5.8 分钟。
做法是把声道在短时间窗内当作不变系统，用它的频响做分块卷积。 这依赖两个语音声学中的常见假设：声道几何在几毫秒内变化很小，有损声道的冲激响应在几十毫秒内衰减。 实现按 5.8 毫秒分块、截断到 93 毫秒冲激响应，在 8192 个频点上由逆 FFT 得到滤波器；几何固定时，该卷积与 VocalTrax 输出在双精度下相对误差为机器精度量级。
重建语音的可识别性提高，但频谱目标变差。 只用真实语音训练的冻结 wav2vec 2.0 加线性头分类器，对 VocalTrax 重建的识别率为 10.0%，接近随机水平。 同一分类器对 Convolutional VocalTrax 重建的识别率为 14.5%，提高 4.5 个百分点，配对自助法 95% 区间为 2.2 到 6.6；对数梅尔误差则高出 11.3%。
启示与展望
演示范围是 600 条 AudioMNIST 录音、44.1 kHz、44 段声道、1000 步 AdamW 拟合，速度在单张 A100、批大小 1、单精度下测得。作者提出后续可把固定基频下的声源相位预先算好，使端到端加速接近估计的 17 到 25 倍，并用听测评估更长语句。
作者指出合成语音的绝对识别率低，所有合成条件的预测集中在少数数字上，因此这些数字只表示相对可识别性。原始 VocalTrax 研究报告的真实语音 73.5% 与重建 20.0% 未能复现，但所有条件由同一分类器评分。未发声帧使用 1 Hz 占位值，使约 45% 的输出能量落在 60 Hz 以下，而录音中为 3.8%。