Unite-Audio 把音频表征学习与潜在流匹配联合训练,用紧凑模型取得有竞争力的文本到音频生成效果
该工作提出 Unite-Audio,将连续音频表征学习与潜在流匹配联合训练用于文本到音频生成,通过把重建与自监督生成预测耦合,让生成目标直接塑造潜在空间,并采用 Flow-GRPO 后训练改善文本条件生成;实验显示紧凑的潜在流模型取得有竞争力的文本到音频性能,消融研究确认联合学习音频表征与生成模型带来收益。
该工作提出 Unite-Audio,将连续音频表征学习与潜在流匹配联合训练用于文本到音频生成,通过把重建与自监督生成预测耦合,让生成目标直接塑造潜在空间,并采用 Flow-GRPO 后训练改善文本条件生成;实验显示紧凑的潜在流模型取得有竞争力的文本到音频性能,消融研究确认联合学习音频表征与生成模型带来收益。
已读完全部报道