英伟达把转写、说话人分离和翻译装进一个开放权重模型:40种语言、最长一小时录音
核心概要
英伟达发布开放权重的 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合并进同一个检查点,支持40种语言转写、31种语言与英语互译、13种语言说话人标注,可处理最长一小时录音并标注至多8位说话人。此前这些能力通常分散在不同模型或流程中,用户拿到逐字稿仍要另行判断谁说了什么、如何翻译。开发者可用自然语言提示引导输出,并借助 Granary v2 数据与微调工具适配领域词汇;在医疗案例中,微调把留出说话人上的词错误率相对最佳提示降低了45.8%。
深度剖析
一个开放权重模型现在同时承担转写、说话人分离、翻译和音频问答,用户不必为同一段录音分别调用不同系统。 此前逐字稿即使记录了每个词,仍无法回答谁说了什么、如何翻译或如何按领域术语排版,多语言通话、快节奏会议和医疗口述各自需要不同输出。 该模型在 Hugging Face 开放权重英语语音识别排行榜上位列开放权重模型第一,并出现在 Artificial Analysis 的准确率与活跃参数前沿图上。
输出形式由自然语言指令决定,同一段会议录音可以按要求给出说话人标签、英文译文或会议决策摘要。 这种控制方式把任务选择从固定流水线移到提示层,模型卡提供推荐预设、完整提示指南和按任务划分的语言支持矩阵。 在说话人标注上,该模型在 David AI 的21语言分离排行榜上取得最低错误率,并在 VoiceArena 的14系统比较中排名第一。
提示层的控制可以延伸到训练层,开发者用 Granary v2 多语言数据和 NeMo Speech 微调工具把模型适配到实际遇到的语音。 领域词汇和口音此前只能靠提示中的上下文提示,医疗案例显示微调比最佳提示更进一步。 在医疗案例中,微调把留出说话人上的词错误率相对最佳提示降低45.8%。
启示与展望
已展示的范围是开放权重模型在英语转写和说话人标注的公开排行榜上的名次,以及一个医疗微调案例中留出说话人上的词错误率变化;语言支持按任务不同,音频问答仅以英语训练。材料提到量化版本即将推出,可在 RTX Spark、DGX Spark、Jetson AGX Thor 本地运行或在 Blackwell 数据中心 GPU 上扩展。
材料为摘要,排行榜名次的具体评测设置与对比模型未完整展开;音频问答仅以英语训练,语言支持因任务而异;医疗案例只报告了相对最佳提示的词错误率降幅,未给出绝对数值。材料同时提醒,对任何语音模型都应抽查人名、说话人切换和答案。
