跳到主要内容
返回时间线
microsoft/VibeVoice来源发表:

微软发布VibeVoice-ASR-Streaming:语音还在输入,转写已按块给出说话人、时间与内容

核心概要

微软发布VibeVoice-ASR-Streaming,把此前需要整段音频一次性处理的“谁说了什么”转写改为随语音到达持续输出。此前的VibeVoice-ASR面向60分钟长音频单次处理,在64K token长度内生成含说话人、时间戳与内容的结构化转写。新模型按块输出文本,并支持自定义热词与10种语言。

Source-provided article image: microsoft / VibeVoice
GitHub Trending

深度剖析

微软把VibeVoice-ASR的转写方式从整段音频一次性处理改为流式处理,语音还在到达时就持续输出“谁说了什么”。 此前的VibeVoice-ASR面向长音频单次处理,设计上可在64K token长度内接收最长60分钟连续音频,以保持说话人跟踪与语义一致。 发布信息给出的对照是处理时机:旧路径要等音频成段后统一转写,新模型在音频到达过程中按块产出文本。

流式版本沿用统一语音转文字模型的结构化输出目标,即同时给出说话人、时间戳与内容。 这一输出形态来自VibeVoice-ASR,其结构化转写包含Who、When、What三项,并支持用户自定义上下文。 发布信息说明新模型支持自定义热词与10种语言,并提供了演示与模型入口。

启示与展望

已展示的范围是微软发布的VibeVoice-ASR-Streaming模型及其演示与模型入口,支持自定义热词和10种语言;适合关注语音转写集成的工程读者。

发布信息未给出流式模式下的转写准确率、延迟或与整段处理的对比结果,实际表现需以模型与报告中的评测为准。