WaveGen把零样本TTS压成单模型：文本直出波形，Seed-en上WER 1.47、SIM 0.75
核心概要
WaveGen把零样本语音合成从多级流水线收回到单个扩散模型：文本直接生成原始波形，不再经过神经音频编解码器、梅尔声码器、VAE潜变量或时长预测器。它用Spectral Forcing在模型内部同时学习一条低分辨率频谱轨迹和目标波形轨迹，为高分辨率波形上的文本-语音对齐提供结构化引导。在Emilia开源数据、单阶段训练下，0.6B参数的WaveGen在Seed-en基准上取得WER 1.47和说话人相似度SIM 0.75。
深度剖析
零样本语音合成可以不再依赖任何单独训练的中间表示：一个模型从文本直接输出24 kHz原始波形，神经音频编解码器、梅尔声码器、VAE潜变量、时长预测器和自监督语义表示都不再出现在生成路径上。 此前的零样本TTS主流做法是多级流水线，编解码器模型依赖神经音频编解码器的容量，梅尔模型需要单独训练的声码器，潜扩散模型需要额外的预训练潜空间；较早的端到端模型则受限于可扩展性、训练不稳定和零样本质量较差。 在Seed-en基准上，0.6B参数的WaveGen取得WER 1.47和SIM 0.75，而同一张对比表中0.6B的Qwen3-TTS为WER 1.68、SIM 0.70，1.7B的Qwen3-TTS为WER 1.50、SIM 0.71；WaveGen使用开源Emilia数据、单阶段训练，且不使用REPA。
做法是在同一个模型里让波形轨迹和一条低分辨率频谱轨迹一起生成，频谱只作为内部引导，不作为外部中间表示输出。 直接把条件流匹配用于原始波形时，文本与语音在高时间分辨率上难以对齐，此前的波形级扩散工作通常仍要依赖梅尔频谱条件或预训练BERT文本表示。 去掉Spectral Forcing后模型无法对齐，WER为123.67、SIM 0.19；改用64个梅尔频带的内部频谱轨迹后，WER降到4.96、SIM为0.47，而128频带时WER为18.67、32频带时WER为4.26，64频带被选为对齐、收敛与高频细节之间的折中。
启示与展望
已展示的范围是24 kHz语音、Emilia开源数据上的零样本TTS，评价集中在Seed-en基准的WER与SIM、Seed-zh的说话人相似度，以及MTurk上的自然度与相似度评分；0.6B模型在八块GPU上训练11个epoch，其余模型训练四个epoch。
受算力限制，大规模训练只做了四个epoch，作者认为更长训练可能继续提升；REPA只在WaveGen-S、LibriTTS的小规模预实验中检验，主模型未使用；Emilia的MP3压缩音频使模型难以生成8 kHz以上的高频成分；作者计划把模型扩展到48 kHz波形生成。