重叠语音里挑出目标说话人：5.2M前端按难度分配算力，识别错词率从16.8%降到14.6%
核心概要
多语言重叠语音的目标说话人提取不再对每个输入用同一套计算深度。此前固定深度前端要么对困难输入处理不足，要么在已收敛的输入上重复精修。LATTE 用难度估计器为每个混合语音选择两、四或六块共享提取块，在 PolyExtract 八语言基准上以 0.30 GFLOPs 取得 15.07 dB 宏平均 SI-SNRi，比 0.53 GFLOPs 的固定深度路径低 0.09 dB 以内，计算量减少 43.4%；接在冻结的 Qwen3-Omni 前，平均词错率从 TF-GridNet 的 16.8% 降到 14.6%。
深度剖析
目标说话人提取前端开始按每个混合语音的实际难度分配计算深度，而不是对所有输入执行同一套网络。 此前的提取系统对每个输入施加相同网络深度，浅预算会让困难输入处理不足，深预算则反复精修已经收敛的输入。 在覆盖八种语言、64 个有向目标—干扰组合的 PolyExtract 上，LATTE 以 0.30 GFLOPs 取得 15.07 dB 宏平均 SI-SNRi，与 0.53 GFLOPs 固定深度模型相差 0.09 dB 以内，计算量减少 43.4%。
路由依据来自混合语音特征与目标说话人嵌入，推理时不需要语言标签。 训练阶段用从多深度提取增益中得到的语音学难度指数提供弱监督，该指数经 URIEL+ 与 PHOIBLE 的语音相似度图平滑，只在训练时使用。 难度估计器在语言宏平均上达到 MAE 0.085，学习式路由、仅任务 PDI、随机路由与理想路由分别得到 14.69、14.88、13.91 与 15.23 dB，与理想路由相差 0.16 dB。
提取出的波形直接送入冻结的音频语言模型，无需改动后端参数。 此前后端适配常采用 LoRA 等针对具体后端的微调，而该前端保持即插即用。 在冻结的 Qwen3-Omni 前，平均词错率从 TF-GridNet 的 16.8% 降到 14.6%，并在八种语言中的五种上排名第一，仅需 0.2T–0.4T FLOPs。
启示与展望
该结果在 PolyExtract 上得到验证，这是一个覆盖八种语言、五个语系、64 个有向目标—干扰组合的受控双说话人混合基准，样本取自 LibriSpeech、AISHELL-1、NCHLT、VIVOS 与 Common Voice。前端以波形输出接入冻结的音频语言模型，因此适用于希望在不改动后端参数的前提下改善重叠语音识别的场景。对更广泛语言、口音与真实重叠条件的泛化尚未验证，后续工作应评估未见语言、口音与真实重叠，以及部署延迟与能耗。
语音学难度指数被明确定位为训练先验，而非语言难度的确定性或内在度量，它只平滑任务观测到的证据，推理时不被访问。PolyExtract 只覆盖八种语言与受控双说话人混合，因此对更广泛语言、口音和真实重叠条件的泛化仍未验证。下游语义理解任务上，该前端相对混合输入有提升，但在槽填充、意图推断与情感识别等任务上仍低于干净单说话人输入的参考水平。