跳到主要内容
返回时间线
Cloudflare来源发表:

语音智能体不必在快与准之间二选一:PhoneLLM Mini 上 Workers AI,关掉推理模式也能跟指令、调工具

核心概要

Daily 旗下 Pipecat 团队的 PhoneLLM Mini 模型现已上线 Cloudflare Workers AI,面向语音智能体等实时应用。语音智能体里语言模型夹在语音转文字与文字转语音之间,模型每慢一秒都会拉长来电者的等待;开发者此前通常要么选不带推理模式的快模型,可能漏掉指令或工具调用,要么选带推理模式的慢模型。Pipecat 在电话与客服场景上对 NVIDIA Nemotron 3 Nano 30B 做了后训练,使 PhoneLLM 在不开启推理模式的情况下更好地遵循指令并调用工具。

Source-provided article image: Changelog
Cloudflare

深度剖析

语音智能体开发者现在可以在 Cloudflare Workers AI 上直接调用一个专为电话与客服场景调过的模型,而不必在“快但容易漏指令”和“准但慢”之间做取舍。 此前开发者通常面对两种选择:不带推理模式的快模型可能漏掉指令或工具调用,带推理模式的慢模型则能较好处理这两件事,但会拖慢回复。 Pipecat 在电话与客服场景上对 NVIDIA Nemotron 3 Nano 30B 做了后训练,使 PhoneLLM 在不开启推理模式时也能更好地遵循指令并调用工具。

接入方式沿用 Workers AI 既有的两种调用路径,模型以 @cf/daily-co/phonellm-mini-alpha-2 的标识提供。 调用既可通过 Workers AI 绑定 env.AI.run(),也可通过 /ai/run 的 REST 接口,与平台上其他模型的使用方式一致。 Pipecat 建议把 temperature 设为 0,并设置 chat_template_kwargs: { enable_thinking: false },即关闭思考模式来运行。

启示与展望

这则消息面向构建语音智能体和其他实时 AI 应用的开发者,适用场景是模型需要在对话中快速回复并调用正确工具。模型以 @cf/daily-co/phonellm-mini-alpha-2 的标识在 Workers AI 上提供,可通过绑定 env.AI.run() 或 /ai/run 的 REST 接口调用,Pipecat 建议 temperature 设为 0 并设置 chat_template_kwargs: { enable_thinking: false }。材料还提到一个 Pipecat 语音智能体示例,它运行在 Durable Object 中,以 WebRTC 作为语音传输并经由 Realtime SFU,默认使用 DeepSeek V4 Flash,可改用 PhoneLLM 部署。

材料没有给出 PhoneLLM 与快模型或推理模式模型在响应延迟、指令遵循或工具调用上的对照数据,因此“不开启推理模式也能更好遵循指令并调用工具”是相对其基座模型后训练目标的表述,而非与其他模型的量化比较。模型标识带有 alpha 后缀,材料也未说明其服务等级或长期可用性。