情绪语音合成不再把说话人风格混进情绪:HiP-ETTS把提示拆成共享与互补两路,音频提示下词错率降到2.98%
多模态情绪提示驱动的语音合成此前把跨说话人的情绪共性与个人表达混在同一个情绪条件里,容易在增强情绪时损伤语言内容。HiP-ETTS把提示中的情绪信息拆成情绪共享因子与互补情绪因子,再用分层情绪先验锚定语言结构、由自适应投影与流匹配细化情绪细节。在音频、文本、面部图像三类提示下,它的词错率均低于或接近此前方法,情绪一致性指标VAD-CCC与Emo-SIM在各类提示中最高,音频提示下分别为0.760和0.768。