情绪语音合成不再把说话人风格混进情绪：HiP-ETTS把提示拆成共享与互补两路，音频提示下词错率降到2.98%
核心概要
多模态情绪提示驱动的语音合成此前把跨说话人的情绪共性与个人表达混在同一个情绪条件里，容易在增强情绪时损伤语言内容。HiP-ETTS把提示中的情绪信息拆成情绪共享因子与互补情绪因子，再用分层情绪先验锚定语言结构、由自适应投影与流匹配细化情绪细节。在音频、文本、面部图像三类提示下，它的词错率均低于或接近此前方法，情绪一致性指标VAD-CCC与Emo-SIM在各类提示中最高，音频提示下分别为0.760和0.768。
深度剖析
情绪语音合成现在可以在保留语言内容的同时提高情绪一致性，且同一套模型接受语音、文本或面部图像作为情绪提示。 此前的多模态情绪提示方法把情绪信息作为整体条件注入，没有显式区分跨说话人的情绪共性与说话人特有的表达差异，情绪条件可能把个人表达混入目标情绪。 在音频提示下，HiP-ETTS的词错率为2.98%，VAD-CCC为0.760，Emo-SIM为0.768；同一提示条件下MaskGCT为6.59%、0.676、0.666，SparkTTS为9.27%、0.641、0.611。
模型先把情绪提示拆成两路，再分两阶段生成声学特征：先搭出以内容为骨架的情绪先验，再沿流匹配轨迹补足情绪细节。 情绪共享因子由VAD提取器给出的球面情绪表示承担，互补情绪因子取高维情绪嵌入中VAD无法解释的残差，两路分别送入双流韵律预测器的共享流与说话人条件化特定流。 分层先验以内容骨干加上韵律、音色、情绪三项残差偏移构成，情绪残差经FiLM调制注入；随后浅层状态投影头估计中间状态及其流时间，流时间被约束在0.25到0.90之间，解码器只建模该时刻到终点的剩余轨迹。
拆开的两路情绪因子与两阶段细化各自承担不同作用，去掉任一部分主要损失细粒度情绪而非语言内容。 把互补情绪因子换成同情绪类别、VAD相近的另一说话人版本后，词错率与VAD-CCC仅小幅变化，Emo-SIM从0.768降到0.707。 把双流韵律预测器换成单流后，词错率从2.98%升到3.51%，VAD-CCC与Emo-SIM分别降到0.439和0.566；去掉情绪残差偏移后Emo-SIM降到0.674，而词错率为3.11%。
启示与展望
评估覆盖音频、文本与面部图像三类情绪提示下的零样本情绪语音合成，基线使用各自官方发布的检查点与推理设置，效率指标在统一推理设置下测量。作者提出后续将考察模型对含噪或对抗性多模态线索的鲁棒性。
文本提示下HiP-ETTS的词错率为2.99%，略高于CosyVoice2的2.56%，作者将其归因于后者的大规模文本条件训练；UTMOS上HiP-ETTS未显示整体优势，作者指出这些基线中更高的UTMOS并不必然对应更好的内容、情绪或韵律表现。面部提示下VAD-CCC为0.439，明显低于音频提示的0.760。