语音智能体不必再自己拼组件:ElevenLabs 推出端到端实时模型,Max 语音推理准确率 98.8%
核心概要
ElevenLabs 发布 Eleven Realtime 系列语音到语音模型,把语音识别、语音活动检测、轮次切换、大模型和语音合成等分散组件收进一个完整语音智能体,支持 90 多种语言和 17000 多种音色。此前开发者要逐项选型并反复调参才能让各部件协同。独立评测中,v1 Max 在 Big Bench Audio 的 1000 道语音推理题上答对 98.8%,平均 0.57 秒开口,v1 Mini 分别为 75.9% 和 0.62 秒。
深度剖析
构建自然语音智能体从逐组件选型变成选一个完整模型:Eleven Realtime 的每个模型本身就是一套语音智能体,按使用场景分别优化,并支持 90 多种语言和 ElevenLabs 音色库中 17000 多种音色。 此前要搭建这样的智能体,开发者必须分别决定语音识别、语音活动检测、轮次切换、底层大模型和语音合成,再把它们调到能协同工作,这本身就是一项工程。 Artificial Analysis 独立评测了 v1 Mini 和 v1 Max 两个模型,覆盖 Big Bench Audio、Full-Duplex-Bench 和 Speech Agent Arena 三项公开基准。
两个版本按任务复杂度分工:v1 Mini 面向低成本自然对话,适合 AI 助手、教师和交互角色;v1 Max 面向需要遵循流程、逐步推理的复杂任务,如客户支持和线索筛选。 准确率与速度通常被视为此消彼长,Big Bench Audio 得分最高的模型回答最慢,最快的模型则牺牲较多准确率。 在 Big Bench Audio 的 1000 道语音推理题上,v1 Max 答对 98.8%、平均 0.57 秒开口,v1 Mini 答对 75.9%、平均 0.62 秒开口;在 Full-Duplex-Bench 上 v1 Mini 得 95.8%、v1 Max 得 94.1%。
对话节奏与人类偏好另有独立测量:Speech Agent Arena 让真人在盲测实时对话中比较两个模型,v1 Max 得 998 分、v1 Mini 得 988 分;工具调用任务上 v1 Max 完成 87.1%、v1 Mini 完成 60.3%。 停顿、轮次切换、打断和附和这些细节此前依赖开发者逐项调整设置,例如停顿后等多久再回答、用户打断后如何恢复。 Full-Duplex-Bench 专门测试停顿、轮次切换、打断和附和,Speech Agent Arena 则以盲测实时对话中的人类偏好和任务成功率为指标。
启示与展望
这则发布面向需要构建语音智能体的开发者,两个模型分别定位低成本自然对话与复杂多步任务。通过 Realtime API 接入时只支持 WebSocket,原本用 WebRTC 的集成需先迁移;该 API 与 ElevenAgents 平台分开运行,若需要通道、知识库等平台功能应直接在 ElevenAgents 上构建。
准确率与速度的取舍由厂商自行描述,v1 Max 在两项指标上同时领先的说法来自其引用的评测。工具调用上 v1 Mini 完成率 60.3%,明显低于 v1 Max 的 87.1%,因此重工具调用的场景被建议使用 Max。两个版本在 Full-Duplex-Bench 上的得分接近,v1 Mini 略高。
