ElevenLabs与英伟达扩大合作，把英伟达Nemotron开放模型接入ElevenAgents语音智能体平台，并计划在现有Blackwell Ultra系统之上追加15兆瓦Vera Rubin算力。在ElevenAgents面向真实客服任务的基准上，Nemotron 3.5 Super VL取得领先的端到端任务完成准确率，成本比其他领先开放模型低70%。双方同时把语音智能体用于波兰国家电子健康平台的中央预约系统，在本地部署中让公民数据和音频留在政府基础设施内。
Vercel 与 ElevenLabs 合作，把 14 个 ElevenLabs 音频模型接入 AI Gateway，覆盖语音转文字、流式文字转语音、实时语音智能体、音乐、音效和多说话人对话六类。此前这些能力需要分别接入，现在应用或智能体可用同一把网关密钥先转写用户语音、再交给任选的语言模型推理、最后用 ElevenLabs 声音作答，且每个请求与其它网关流量共用同一套用量、成本和追踪视图。上线后前 14 天至 11 月 9 日，全部 ElevenLabs 模型在 AI Gateway 上五折。
Mistral 发布 Voxtral 3，把语音识别、推理、工具调用与语音合成放进同一条实时流式管线，并配套语音智能体 SDK。此前让智能体同时听准、想清、说自然并跨系统执行多步操作仍很困难。其 Small 转写模型在英语、法语、西班牙语的多语言转写与说话人分离上优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe，实时转写延迟低于 500 毫秒。
Salesforce AI Research 推出面向企业实时对话的语音模型 Launa-Omni，它把语音与语言放进同一个经音频改造的文本模型，再由自研文本转语音模型说出回复。与把语音识别、语言模型和语音生成串成流水线的做法不同，语音在进入推理前不被转写成文字，因此语速、停顿和重音等信息不会在第一次交接时丢失。模型规模明显小于若干更大的语音模型，在语音指令遵循、多轮对话和客服任务上报告了有竞争力的结果，并已以简化形式用于 Slack 的语音听写功能。
Daily 旗下 Pipecat 团队的 PhoneLLM Mini 模型现已上线 Cloudflare Workers AI，面向语音智能体等实时应用。语音智能体里语言模型夹在语音转文字与文字转语音之间，模型每慢一秒都会拉长来电者的等待；开发者此前通常要么选不带推理模式的快模型，可能漏掉指令或工具调用，要么选带推理模式的慢模型。Pipecat 在电话与客服场景上对 NVIDIA Nemotron 3 Nano 30B 做了后训练，使 PhoneLLM 在不开启推理模式的情况下更好地遵循指令并调用工具。
Sarvam 发布 Bulbul V4 Flash 文本转语音模型，面向印度语言，在生产环境中首段音频延迟低于 250 毫秒，每万字符收费 20 卢比。相比 V3 的每万字符 30 卢比，价格低三分之一，同时韵律更丰富、上下文表达更强。模型以 11 种语言、83 种声音和 224 种声音与风格组合上线，并配有实时上下文文本规范化层，用于处理 PNR、PAN、Aadhaar 等需要按语境决定读法的内容。
Gradium TTS 把文本转语音的首段音频延迟压到比人类说话反应更快，在 Coval 基准（截至 2026 年 9 月）上中位 TTFA 为 214 毫秒，四分位距足够窄，开发者可以据此为流水线其余部分设定可靠的延迟预算。它采用 Kyutai 的延迟流建模，把文本和音频当作共享时钟上的两条并行流，音频流落后文本若干解码步，因此在上游大模型还没写完整句时就能开口。在 Baseten 上以专用部署提供，权重经 Baseten 交付网络预镜像与三级缓存，冷启动快 2–3 倍。
该工作提出 VoxParity 基准：183 个来自 14 个行业的场景，每个场景固定同一段文字稿、只改变音频（教练声音、医疗监护仪蜂鸣、无线电检查中的求救信号、药名上的噪声、下注的儿童声音、惊恐的低语），并让正确的可执行工具调用随之改变；在 206 个带线索单元上，28 个系统（含 9 个生产级实时代理）在音频要求保护时执行常规请求的比例为 41%，而在干净通话上过度触发为 12%，23 个有文字通路的系统中只有 11 个通过“纯文字零假设”检验，且通过几乎全部来自明确写出规则的条目。
已读完全部报道