会议转写不再只看谁在说话:结构化说话人条件让重叠语音下的目标识别更稳
会议转写需要按指定说话人输出文字,但此前的四状态活动条件会把不同的干扰人数和交接历史压成同一个目标条件。结构化说话人条件把每条说话人活动轨迹先单独编码,再与整场会议得到的声学身份结合,并用条件相关的低秩跨通道调制控制声学编码器。在 Qwen3-ASR-0.6B 与 oracle 分离结果上,完整方法用 1.46M 条件参数,在四个会议测试集上相对四状态对角条件取得 6.23% 的平均相对 cpER 下降。
会议转写需要按指定说话人输出文字,但此前的四状态活动条件会把不同的干扰人数和交接历史压成同一个目标条件。结构化说话人条件把每条说话人活动轨迹先单独编码,再与整场会议得到的声学身份结合,并用条件相关的低秩跨通道调制控制声学编码器。在 Qwen3-ASR-0.6B 与 oracle 分离结果上,完整方法用 1.46M 条件参数,在四个会议测试集上相对四状态对角条件取得 6.23% 的平均相对 cpER 下降。
该工作提出元数据监督预训练(MSP),利用说话人身份与情感等语音属性,并引入说话人感知话语组合(SAUC)与随机跨度掩码,训练无编码器语音大模型;在多说话人对话的联合ASR与说话人日志任务上,匹配训练数据时该无编码器模型优于随机初始化的编码器基线,在有限元数据标注数据下与使用大规模语料预训练编码器的模型相当,并在若干设置中胜出。
该工作提出以语料级全局说话人映射计算的 SI-cpWER 指标,在 CHiME-8 NOTSOFAR(干净与加噪)及 CHiME-6 上评测五个商业 diarize-then-identify 级联、两个开放基线以及端到端参考系统 ThyVoice,发现要求跨会议保持同一身份会改变商业系统排名:ThyVoice 在三种条件下均优于所有被评测的商业级联,全组平均 SI-cpWER 为 47.13,次优系统为 54.75。
这篇 NVIDIA 教程以 Cache-Aware FastConformer-RNNT 多语种流式 ASR 模型为基础,在 SADA 2022 的 Najdi 与 Hijazi 沙特方言数据上做最小化筛选(保留 103,559/125,490 条、133.7 小时、82.5%)、按 90% 沙特语音加 7% 英语与 3% 阿拉伯语 FLEURS 的加权回放混合、时长分桶批处理,并在两块 GPU 上训练 12,000 步约 4.5 小时,使 Najdi+Hijazi 测试集 WER 从 55.05% 降到 29.96%、CER 从 31.63% 降到 12.18%,全 SADA WER 从 58.84% 降到 35.61%,同时 FLEURS 英语 WER 从 11.04% 降到 10.42%、阿拉伯
已读完全部报道