跳到主要内容
检索

# 文本转语音

13 篇关联报道

订阅更新
  1. arXiv

    WaveGen把零样本TTS压成单模型:文本直出波形,Seed-en上WER 1.47、SIM 0.75

    WaveGen把零样本语音合成从多级流水线收回到单个扩散模型:文本直接生成原始波形,不再经过神经音频编解码器、梅尔声码器、VAE潜变量或时长预测器。它用Spectral Forcing在模型内部同时学习一条低分辨率频谱轨迹和目标波形轨迹,为高分辨率波形上的文本-语音对齐提供结构化引导。在Emilia开源数据、单阶段训练下,0.6B参数的WaveGen在Seed-en基准上取得WER 1.47和说话人相似度SIM 0.75。

  2. arXiv

    7.6M参数土耳其语语音模型Antalia-2 Mini发布:训练音频全部来自一个约300倍大的教师模型

    Antalia-2 Mini 是一个 7,620,931 参数的单音色土耳其语文本转语音模型,训练音频全部由约 300 倍大的 VoxCPM2 克隆同一段合成参考音频生成,自动检查后保留约 1,790 小时。它在 Freya-TR-Eval 的 495 句上取得 WER 1.09%、CER 0.220%,配对自助法无法把它与 8.6M 的 EMA Lightning 区分开;作者在这些句子上调过设置,且尚无人工听测。

  3. arXiv

    语音编码器不再让内容决定序列长度:RubatoCodec给每句话固定事件预算,还能流式解码

    可变帧率语音编码器按内容分配词元,但基于阈值的分配让内容决定词元数,生成器在固定设置下要产出的序列长度会随语句和数据集变化。RubatoCodec在X-Codec-2上引入语句级精确事件预算与流式解码,用编码器特征和波形频谱的变化把语音切成变长事件,每个事件由离散码和显式时长表示。受控实验显示,低事件率下自适应分配在重建保真度和可懂度上优于固定帧率编码;匹配的文本转语音对比中,该表示取得更低WER和更高UTMOS、UTMOSv2,说话人相似度相当。

  4. microsoft/VibeVoice

    微软发布VibeVoice-ASR-Streaming:语音还在输入,转写已按块给出说话人、时间与内容

    微软发布VibeVoice-ASR-Streaming,把此前需要整段音频一次性处理的“谁说了什么”转写改为随语音到达持续输出。此前的VibeVoice-ASR面向60分钟长音频单次处理,在64K token长度内生成含说话人、时间戳与内容的结构化转写。新模型按块输出文本,并支持自定义热词与10种语言。

  5. Amazon Science homepage

    有声书不再一个腔调念到底:Audible给每个角色配固定声线,对话区分度提高3.7分

    Audible技术团队把可控文本转语音用于有声书:先用大语言模型为书中每个角色建立固定声线档案,并为每句对白写出“紧张低语”这类自然语言表演说明,再由语音模型按说明合成。角色识别在25本英西语悬疑、科幻、言情小说上分别达到97%和94%的准确率;在MUSHRA听感测试中,对话区分度提高3.7分,十种声线中有八种在英西语测试里获得统计显著的听感提升。

  6. Mistral Blog

    语音智能体不再逐段等:Voxtral 3 把听、想、说并成一条流,每轮不到一秒

    Mistral 发布 Voxtral 3,把语音识别、推理、工具调用与语音合成放进同一条实时流式管线,并配套语音智能体 SDK。此前让智能体同时听准、想清、说自然并跨系统执行多步操作仍很困难。其 Small 转写模型在英语、法语、西班牙语的多语言转写与说话人分离上优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe,实时转写延迟低于 500 毫秒。

  7. Salesforce把语音对话做成可检查的文本:先出文字再开口,小模型也能扛企业任务

    Salesforce AI Research 推出面向企业实时对话的语音模型 Launa-Omni,它把语音与语言放进同一个经音频改造的文本模型,再由自研文本转语音模型说出回复。与把语音识别、语言模型和语音生成串成流水线的做法不同,语音在进入推理前不被转写成文字,因此语速、停顿和重音等信息不会在第一次交接时丢失。模型规模明显小于若干更大的语音模型,在语音指令遵循、多轮对话和客服任务上报告了有竞争力的结果,并已以简化形式用于 Slack 的语音听写功能。

  8. ElevenLabs Blog

    英国议会首次用AI声音发言:坎贝尔女男爵用自己的嗓音,把健康法案辩论讲完

    英国上议院首次出现由AI重建的声音完成的议员发言。此前,坎贝尔女男爵自2012年起只能由助手代读讲稿,因为她的发声能力随病情逐渐退化。她自行找到ElevenLabs的声音克隆工具,上传旧录音重建音色、节奏与音高,再用文本转语音生成整篇讲稿,经辅助设备在上议院播放,用于健康法案二读中关于个人健康预算的发言。

  9. Baseten

    语音智能体不再等整句话:Gradium把首段音频压到214毫秒,还让冷启动快2–3倍

    Gradium TTS 把文本转语音的首段音频延迟压到比人类说话反应更快,在 Coval 基准(截至 2026 年 9 月)上中位 TTFA 为 214 毫秒,四分位距足够窄,开发者可以据此为流水线其余部分设定可靠的延迟预算。它采用 Kyutai 的延迟流建模,把文本和音频当作共享时钟上的两条并行流,音频流落后文本若干解码步,因此在上游大模型还没写完整句时就能开口。在 Baseten 上以专用部署提供,权重经 Baseten 交付网络预镜像与三级缓存,冷启动快 2–3 倍。

  10. arXiv

    vLLM-Omni 用统一编排器把语音、扩散、世界模型与机器人策略装进同一多阶段服务运行时

    vLLM-Omni 团队提出一个以编排器为中心的多阶段服务运行时,把 omni、TTS、扩散、世界模型与 VLA 工作负载拆成绑定独立引擎与资源预算的 stage,通过 OmniConnector 传输隐藏状态、codec 码、latent 与分页 KV,并用 session 控制长时交互;在 H100/H200 上报告了 Qwen3-Omni 语音服务、TTS 组合、图像视频扩散与 MiniCPM-o 双工健康度指标。