# 延迟流建模

Gradium TTS 把文本转语音的首段音频延迟压到比人类说话反应更快，在 Coval 基准（截至 2026 年 9 月）上中位 TTFA 为 214 毫秒，四分位距足够窄，开发者可以据此为流水线其余部分设定可靠的延迟预算。它采用 Kyutai 的延迟流建模，把文本和音频当作共享时钟上的两条并行流，音频流落后文本若干解码步，因此在上游大模型还没写完整句时就能开口。在 Baseten 上以专用部署提供，权重经 Baseten 交付网络预镜像与三级缓存，冷启动快 2–3 倍。

Gradium TTS 把文本转语音的首段音频延迟压到比人类说话反应更快，在 Coval 基准（截至 2026 年 9 月）上中位 TTFA 为 214 毫秒，四分位距足够窄，开发者可以据此为流水线其余部分设定可靠的延迟预算。它采用 Kyutai 的延迟流建模，把文本和音频当作共享时钟上的两条并行流，音频流落后文本若干解码步，因此在上游大模型还没写完整句时就能开口。在 Baseten 上以专用部署提供，权重经 Baseten 交付网络预镜像与三级缓存，冷启动快 2–3 倍。

该工作先证明在延迟流建模（DSM）中可以移除填充 token 而保持有竞争力的识别性能，进而提出因子化 DSM（F-DSM），把等待概率与原始 LLM 词表分布分离，从而将 ASR 专用 token 移出文本预测空间并在等待步跳过大规模词表 softmax；在 Corpus of Spontaneous Japanese 与 LibriSpeech 上的实验显示 F-DSM 识别性能优于 DSM，同时大幅降低 GPU 显存占用、保持相近训练吞吐、通过 softmax 跳过带来小幅推理加速，并减轻 DSM 中出现的纯文本困惑度退化。

该工作先证明在延迟流建模（DSM）中可以移除填充 token 而保持有竞争力的识别性能，进而提出因子化 DSM（F-DSM），把等待概率与原始 LLM 词表分布分离，从而将 ASR 专用 token 移出文本预测空间并在等待步跳过大规模词表 softmax；在 Corpus of Spontaneous Japanese 与 LibriSpeech 上的实验显示 F-DSM 识别性能优于 DSM，同时大幅降低 GPU 显存占用、保持相近训练吞吐、通过 softmax 跳过带来小幅推理加速，并减轻 DSM 中出现的纯文本困惑度退化。