一小时音频不到4秒转完：Fireworks把Whisper v3-large搬上自家推理栈，还带对齐和翻译
核心概要
Fireworks 发布 Whisper v3-large 语音转文字 API 的 beta 版，主打速度：在专用端点上，异步接口把 1 小时音频转写或翻译成文本只需 4 秒，约合 900 倍实时。此前同类服务往往让用户等上数秒甚至数分钟，而这次的速度来自其推理服务栈的改造，而非模型本身。质量上，whisper-v3-large 在 Librispeech Clean 数据集上的贪心解码词错误率为 2.00%，与原版开源模型持平；服务端还内置翻译、词句时间戳对齐、音频预处理和语音活动检测。
深度剖析
Fireworks 上线了支持 Whisper v3-large 的语音转文字 API beta 版，把转写速度作为主要卖点，并同时提供翻译、词句级时间戳对齐、音频预处理和语音活动检测等内置功能。 此前的语音转写服务让用户为一段音频等待数秒甚至数分钟，长音频批处理尤其明显；Fireworks 把低延迟列为音频类产品能否可用的前提。 在专用端点、1 个 Fireworks Audio Unit 的条件下，异步语音转文字接口转写或翻译 1 小时音频耗时 4 秒，即 900 倍实时；Fireworks 称其延迟比其他 Whisper 服务商低 2 至 400 倍，其中相对 OpenAI 为 23 倍。
速度提升没有以牺牲识别质量为代价，转写结果与原版开源 Whisper v3-large 保持一致。 Fireworks 在提速的同时以词错误率作为质量对照，而不是只报吞吐。 whisper-v3-large 在 Librispeech Clean 数据集上贪心推理的词错误率为 2.00%，与原版开源 whisper-v3-large 相同。
除转写外，接口还输出每个词和句子的起止时间戳，用于生成视频字幕、构造语音识别训练数据和剪辑播客等需要时间信息的场景。 单纯返回文本的转写无法支撑需要时间对齐的用途，Fireworks 把对齐做成开箱即用的选项。 对齐支持 Gentle、mms_fa 和 tdnn_ffn 三种模型；Fireworks 把 Gentle 放到 GPU 上运行而非 CPU，称对齐 1 小时音频需 10 秒，基于 Gentle 的对齐计算效率最高提升 10 倍且无精度损失。
启示与展望
演示范围限于 Fireworks 自家专用端点上的 Whisper v3-large 系列模型：异步转写 1 小时音频 4 秒、对齐 1 小时音频 10 秒，测试音频为 FLAC 编码、单声道、16000 采样率，配置 1 个 Fireworks Audio Unit。beta 期间无服务器接口达不到专用部署的速度，两种模型 whisper-v3-large 与 whisper-v3-large-turbo 均提供无服务器版本。
速度与成本倍数来自 Fireworks 自述的测量，测试条件限定在专用端点与 1 个 Fireworks Audio Unit；beta 期间无服务器接口明确达不到同等速度，定价尚未启用，速率限制也可能触发。