ElevenLabs在纽约峰会发布交互层：语音智能体可微调、可记忆，并按对话节奏切换模型
核心概要
ElevenLabs在纽约峰会上公布一组面向企业人机交互的产品更新：计划在未来几个月帮助企业用线上部署数据微调部分开源语言模型和自家语音模型，预览了负责轮流发言、打断并按环节挑选大模型的Interaction Engine，为ElevenAgents加入记忆与可在对话前、中、后运行多步工作的Routines，并开放企业AI助手ElevenAI的免费早期访问。公司同时宣布合作伙伴计划、Marketplace，以及与英伟达扩大合作，把Nemotron 3.5 Super VL接入ElevenAgents。这些是产品发布与预览，材料未给出效果对比数据。
深度剖析
ElevenLabs把这次发布定位为给AI搭一层交互层，让企业通过语音和聊天智能体与客户、员工打交道，而不只是提供语音合成模型。 此前公司的起点是语音，如今扩展到支撑各类人机交互的模型与工具。 发布会在纽约峰会现场进行，CEO Mati Staniszewski在主题演讲中介绍了这些更新，并称对话式智能体将在几年内成为企业像云或支付一样的基础设施。
面向具体场景的模型是这次发布的一条主线：Scribe v3 Medical是面向医疗的转写模型，能识别大量复杂医学术语，并区分环丝氨酸与环孢素这类药名。 通用转写模型不区分行业术语，而不同行业各有自己的说法和渠道。 公司称该模型对数千个复杂医学术语的识别准确率大幅提高，并预告金融行业的领域优化模型正在开发中。
ElevenLabs计划在未来几个月内帮助企业微调部分开源语言模型和自家语音模型，用企业自己线上部署产生的数据，按企业自选的指标（如客户满意度CSAT或可靠性）持续优化。 企业此前只能使用按行业预训练的模型，无法针对自己公司的具体语境和客户再做细化。 Staniszewski把这一过程比作每家公司拥有自己的强化学习栈，并称企业可与ElevenLabs研究人员合作完成微调。
预览的Interaction Engine从对话节奏入手，处理轮流发言和打断，判断智能体何时接话、何时停下，并为对话的不同环节挑选合适的大模型。 并非每个智能体任务在每一步都需要前沿模型，如何选用模型本身是一门需要解决的问题。 按介绍，较便宜的模型可承担分诊类工作以控制token消耗，复杂任务再交给前沿模型。
启示与展望
报道范围限于ElevenLabs在纽约峰会上公布的产品、预览与合作，包括模型微调计划、Interaction Engine、ElevenAgents的记忆与Routines、ElevenAI早期访问、合作伙伴计划与Marketplace，以及与英伟达扩大合作。材料未给出任何量化评测，因此这些功能的效果尚无可核对的对照。
多项内容仍是计划或预览：模型微调将在未来几个月推出，Interaction Engine只是预览，ElevenAI处于免费早期访问，Marketplace的购买功能从明年开始。Scribe v3 Medical的准确率提升由公司描述，材料未给出具体数值或测试集。