ElevenLabs 14个音频模型接入 AI Gateway：一把密钥串起转写、实时语音与音乐生成
核心概要
Vercel 与 ElevenLabs 合作，把 14 个 ElevenLabs 音频模型接入 AI Gateway，覆盖语音转文字、流式文字转语音、实时语音智能体、音乐、音效和多说话人对话六类。此前这些能力需要分别接入，现在应用或智能体可用同一把网关密钥先转写用户语音、再交给任选的语言模型推理、最后用 ElevenLabs 声音作答，且每个请求与其它网关流量共用同一套用量、成本和追踪视图。上线后前 14 天至 11 月 9 日，全部 ElevenLabs 模型在 AI Gateway 上五折。
深度剖析
应用或 AI 智能体可以用同一把 AI Gateway 密钥调用 ElevenLabs 的音频能力，把一次交互串成转写、语言模型推理、语音作答三步。 此前这些音频能力需要分别接入，转写、语言模型和语音合成各自独立配置。 接入后每个请求都进入与其它 AI Gateway 流量相同的用量、成本和追踪视图，说明三类模型调用被放在同一套计量之下。
六类音频模型各有分工：Scribe v2 Realtime 在用户说话时就把语音转成文字，Eleven Flash v2.5 以低延迟把语言模型的回答边生成边读出来。 流式文字转语音让用户在语言模型写完回答之前就听到回复开头，不必等整段答案生成完毕。 示例代码把 16 kHz 麦克风流交给 Scribe v2 Realtime 转写，再把转写文本送入语言模型，最后把文本流直接接入 Eleven Flash v2.5 的语音流。
实时语音智能体由 Eleven Realtime v1 Max 和 v1 Mini 在单个 WebSocket 会话内完成听与说，音乐与音效模型则按文字描述生成音频。 实时模型不需要另外接转写或语音合成步骤，多说话人对话也由 Eleven v4、v4 Turbo 和 v3 在一次请求内完成。 浏览器自行建立 WebSocket 会话，服务端只负责签发短期令牌，从而让 API 密钥不落到客户端；实时模型支持语义语音活动检测，但不支持 server-vad。
启示与展望
材料展示的是 AI Gateway 上可调用的 14 个 ElevenLabs 模型及其调用方式，覆盖语音转文字、流式文字转语音、实时语音智能体、音乐、音效和多说话人对话六类，面向需要为应用或智能体加入音频能力的开发者。
实时语音模型支持语义语音活动检测，但不支持 server-vad，这一限制在材料中明确写出；材料未给出各模型的延迟、准确率或成本数据。