腾讯混元发布 Hy ASR 3.0：中文、英文、粤语公开基准聚合错误率均低于参评系统
核心概要
腾讯混元团队发布基于大语言模型的语音识别系统 Hy ASR 3.0，支持中文、英文、粤语及另外 12 个汉语方言组，并可用热词表、问答对话和摘要等外部上下文引导识别。在公开中文、英文、粤语基准上，其聚合错误率分别为 4.64%、5.22% 和 5.06%，均低于参评的非 Hy 系统；粤语单独聚合相对 Qwen3 ASR Flash 降低约 11.0%。系统还利用同一句话内部的信息区分同音或近音关键词，无需额外上下文输入。
深度剖析
Hy ASR 3.0 把中文、英文、粤语三类公开基准的聚合错误率同时压到参评系统最低，分别为 4.64%、5.22% 和 5.06%。 此前各语种的最强非 Hy 对照分别是 FunASR Flash 的 4.77%、StepAudio 3 ASR Max 的 5.38% 和 Qwen3 ASR Flash 的 5.68%。 相对这三个最强非 Hy 对照，中文、英文、粤语分别对应约 2.7%、3.0% 和 11.0% 的相对错误率下降，其中粤语聚合不含 KeSpeech。
系统由音频编码器、音频适配器和 LLM 解码器组成，并带一个按音频检索热词的机制。 热词检索从候选词表中挑出与当前语音相关的词，与摘要或问答对话一起编码成文本前缀，放在音频嵌入之前。 LLM 解码器以该上下文前缀、音频嵌入和已生成 token 为条件自回归生成转写，句内上下文则通过音频与转写序列本身携带，不作为单独外部输入。
训练分编码器预训练、大规模 ASR 预训练和后训练三段，后训练用三个领域专家加多教师同策略蒸馏合并成一个模型。 三个专家分别针对通用、方言和上下文偏置识别独立做强化学习，以减少跨域干扰。 学生模型对每条语音先生成同策略假设，再路由到对应领域专家做 token 级监督；最后针对真实使用中的难例再做一轮模型行为强化学习，重点是依赖上下文的关键词。
启示与展望
评估覆盖公开中文、英文、粤语与方言基准，以及来自真实业务数据的内部中文、英文、粤语和语码转换测试集；方言部分另做覆盖 13 个方言类别、91 个次区域变体的人工评测。稳健性结论限于长音频、儿童与老年人合并测试集、低音量与噪声合并测试集这三类内部设定。
中文聚合优势并非在每个子集上都成立，FunASR Flash 在 AISHELL-1 和 WenetSpeech test-meeting 上仍更强；英文方面 StepAudio 3 ASR Max 在两个 LibriSpeech 子集和带口音的 VoxPopuli-en 子集上更强，且带口音子集相对 Preview 从 14.75% 回升到 15.27%。方言人工评测中，宽松标准下 Hy ASR 3.0 落后 FunASR Flash 1.0 个百分点，吴语在三个指标上均由 FunASR Flash 领先；儿童与老年人合并测试集的结果不能分别说明两个年龄组各自的改善。