掩码扩散TTS中精修提升可懂度、搜索提升身份：深度与推理步数不可互换
相关研究与后续进展
核心概要
该工作训练了15个掩码扩散编解码器TTS模型（19-133M参数、3个随机种子），在2000小时语音上训练并在推理时扫描精修步数T∈[1,16]，对174名留出说话人测量零样本合成的ASR词错误率与说话人验证；结果显示精修弥合了86.2%的可懂度区间但仅弥合46.4%的身份区间（1.86倍不对称），Best-of-K搜索在四个独立编码器上以64.6-79.0%胜率恢复身份，且可分离的B(d)B(T)模型拟合显著优于替代模型（ΔAICc=+69.3），62%的剩余身份缺口位于编解码器而非生成器。
Figure 3 : Identity is mostly not the model’s to win. (A) what each axis buys in speaker similarity, against the headroom that remains to the codec ceiling; bars are coloured by which lever they are ( rented at serve time , owned in training , shape ). Refinement’s bar is the largest only because it is measured from one-step decoding, which is not an operating point anyone ships; from the deployable T = 16 {\color[rgb]{0.0586,0.4805,0.4453}T}{=}16 default it buys nothing further, and test-time search is what moves identity from there. (B) of the distance between real audio and our best system, 62% is lost in the codec itself.
arXiv深度剖析
精修步数与模型深度对TTS不同能力的作用并不对等：精修弥合了86.2%的可懂度区间，却只弥合46.4%的身份区间，形成1.86倍的不对称。 此前通常把推理预算与参数规模视为可互换的算力形式，该工作把二者按能力维度分开测量，并给出跨多种误差指标稳健的不对称比例。 15个模型、3个随机种子、2000小时语音、174名留出说话人，T∈[1,16]扫描，并以实测下限为参照；不对称在多种误差指标下稳健。
Best-of-K搜索能在精修失效之处恢复说话人身份，在四个独立编码器上取得64.6-79.0%的胜率。 把测试时算力从单一的精修维度扩展到搜索维度，并显示搜索针对的是与精修不同的瓶颈。 四个独立编码器上的胜率区间，构成跨编码器的独立验证。
深度与步数不可互换：可分离的B(d)B(T)模型显著优于替代模型（ΔAICc=+69.3）。 以模型比较而非仅凭曲线形状来支持“深度与步数各自独立作用”的判断。 基于ΔAICc的模型比较，差值+69.3。
剩余身份缺口中62%位于编解码器而非生成器；在3倍与6倍训练计划下重训，差距由1.84降至1.36再降至1.23倍，被削弱但未反转，因为可懂度随步数饱和而身份仍持续改善。 把身份瓶颈定位到编解码器环节，并说明延长训练计划只能削弱而不能消除该不对称。 重训实验给出1.84、1.36、1.23三档比例，配合可懂度饱和与身份持续改善的观察。
启示与展望
该结果面向掩码扩散编解码器TTS这一设定：在2000小时语音上训练、以174名留出说话人做零样本评测、推理步数扫描范围为T∈[1,16]。在这一范围内，它支持把精修步数与模型深度视为针对不同瓶颈的两种资源，并提示在身份维度上引入Best-of-K搜索。对需要分配推理预算的TTS系统设计者，这意味着可懂度可优先靠增加精修步数获得，而身份改善更依赖搜索或编解码器侧的改动。
读者仍需关注：不对称比例在T∈[1,16]之外是否保持；Best-of-K搜索的胜率随K增大如何变化、其额外推理成本如何计入；62%的编解码器缺口是在何种编解码器配置下测得；以及3倍与6倍训练计划的削弱趋势是否会继续。本文档为摘要级材料，未包含图表与完整实验细节，因此上述数值的测量条件与消融设置需回到原文核对。