跳到主要内容
返回时间线
sarvam.ai来源发表:

印度语音合成压到250毫秒内:83种声音、11种语言,价格还降了三分之一

核心概要

Sarvam 发布 Bulbul V4 Flash 文本转语音模型,面向印度语言,在生产环境中首段音频延迟低于 250 毫秒,每万字符收费 20 卢比。相比 V3 的每万字符 30 卢比,价格低三分之一,同时韵律更丰富、上下文表达更强。模型以 11 种语言、83 种声音和 224 种声音与风格组合上线,并配有实时上下文文本规范化层,用于处理 PNR、PAN、Aadhaar 等需要按语境决定读法的内容。

Source-provided article image: Introducing Bulbul V4 Flash
sarvam.ai

深度剖析

面向印度语言的实时语音合成现在可以在生产环境中做到首段音频延迟低于 250 毫秒,同时保持表达力。 上一代 Bulbul V3 每万字符定价 30 卢比,V4 Flash 为 20 卢比,低三分之一,且官方称其韵律更丰富、上下文表达更强、语音质量更高。 在可比负载下,V4 Flash 比 V3 快最多 40%,并保留更多并发对话余量;这些数字来自生产环境部署。

模型把多语言语音的表达力压缩进一个更小的模型,同时保留听者最容易察觉的特征。 V4 研究阶段先放开生产模型的延迟与成本限制,训练更大的语言骨干、探索更丰富的音频表示,并把训练数据扩展到超过 4000 亿音频 token。 研究阶段的数据规模扩大后,模型对上下文、韵律、表达力和鲁棒性的利用仍在提升,随后这些增益被蒸馏进更小、更高效的 Flash 模型。

实时推理栈按流式方式组织计算,只处理会影响下一段音频的工作。 推理栈采用感受野感知的流式处理,跳过不影响下一段音频的计算,并按实时节奏把算力集中在当前活跃对话上。 服务路径还减少了不必要的同步与拷贝、合并可兼容的流式任务并按实时负载分配请求,每项优化都以输出正确性为前提。

启示与展望

报道范围限于 Sarvam 公布的 Bulbul V4 Flash 发布信息:生产环境首段音频延迟低于 250 毫秒、每万字符 20 卢比、11 种语言、83 种声音、224 种声音与风格组合,以及可比负载下比 V3 快最多 40%。这些指标面向需要实时语音的开发者与企业部署,通过 Sarvam API、Playground 和 Content Studio 提供,现有 Bulbul 用户可沿用原有 API 迁移。

官方称研究阶段在超过 4000 亿音频 token 的规模上质量尚未进入平台期,但 Flash 是蒸馏后的小模型,其保留程度以听者最易察觉的特征为界。延迟与提速数字来自生产环境与可比负载条件,未给出独立复现或公开基准。V4 Pro 仅以预告形式出现,尚未发布。