智能眼镜双人对话转写不再只靠大模型：前端先分离说话人，重叠语音下错误率更低

智能眼镜采集的四通道双人对话音频，可以先经过语音前端处理再交给大音频语言模型转写，从而在重叠语音、背景干扰和远场条件下得到带时间戳、带说话人归属的文字记录。 此前的多模态大模型转写系统大多不显式建模或分离重叠语音，而是让后端大模型直接转写重叠区域，并且多数面向单通道输入，没有利用智能眼镜多麦克风提供的空间信息。 在官方验证集上，接入前端的两个系统都低于未接前端的微调系统：引导源分离系统在估计语音活动标签下 tcpCER 为 6.97，多通道分离系统为 7.33，而微调后的 SoulX-Transcriber 为 7.82。

前端把一段混合录音拆成两条只含单一说话人的音轨，分别解码后再合并成完整对话。 引导源分离用预先算好的说话人活动信息引导盲源分离与波束形成，多通道分离网络则用双路径循环网络估计两个说话人的复数时频掩码。 验证集按重叠比例分成低、中、高三组，各 26、25、25 段对话，重叠比例分别为 0.1%–2.9%、3.0%–11.9%、12.0%–22.8%，前端处理的优势在高重叠组更明显。

最终提交没有采用前端系统，而是采用微调后的 SoulX-Transcriber，因为它在全长音频上表现最稳定。 前端处理后的音频直接送入预训练模型时更容易出现幻觉，表现为重复生成词元或明显的时间戳漂移，微调并调整解码配置可以缓解。 该最终系统在测试集上取得 tcpCER 6.22。

报告面向智能眼镜双人对话的带时间戳说话人归属转写任务，验证与测试都在该挑战赛的数据与评测指标下进行。前端系统在验证集上按重叠比例分组评估，优势集中在高重叠对话；最终提交选用全长音频上最稳定的微调系统。

SoulX-Transcriber 偶尔出现幻觉，表现为重复生成词元或明显时间戳漂移；前端处理引入的失真与零填充非语音区，使处理后音频分布偏离预训练数据，直接送入预训练模型时幻觉更多。少数问题样本改为约 30 秒分段推理，且使用 oracle 语音活动标签时，由于时间戳由后端自回归生成，DER 仍可能非零。