合成语音也能当训练数据:更自然的德语TTS把嗓音筛查准确率推到0.87
核心概要
嗓音障碍的自动筛查受限于临床语音数据稀缺与类别不均。研究在Saarbrücken嗓音数据库的标准化句子录音上,用两个文本转语音模型各为每条训练录音生成一份合成样本,再比较多种模型架构与融合策略。盲听中Kartoffelbox合成样本仅52.6%被认出是合成音,XTTS为89.5%;用Kartoffelbox增广后HuBERT的敏感度达0.88、准确率0.87,四分类任务仍以喉炎最难。
深度剖析
合成语音被当作额外的训练数据,用来缓解嗓音障碍识别中临床录音稀缺、诊断类别不均的问题,二分类筛查与四分类诊断两个任务都做了检验。 此前的嗓音障碍研究多在样本少、类别同质的VOICED库上报告很高的敏感度与特异度,换到含71个病理诊断类别的Saarbrücken嗓音数据库后性能明显下降。 在原始数据上,HuBERT取得0.85准确率与0.84 F1,是基线中最均衡的;SVM敏感度0.915但特异度只有0.492,WavLM敏感度0.929而特异度0.656。
增广效果取决于用哪个文本转语音模型,更自然的合成语音带来更一致的提升。 两个模型生成的合成样本在盲听中的可辨识度差别很大,此前并不清楚合成语音的感知质量是否会传导到下游分类性能。 一位有20余年经验的耳鼻喉与嗓音专科医师盲评,Kartoffelbox合成样本被认出率52.6%(10/19),XTTS为89.5%(17/19);用Kartoffelbox增广后HuBERT敏感度0.88、准确率0.87、F1 0.85。
把不同架构的输出融合起来,可在敏感度与特异度之间取得更平衡的取舍,加入性别嵌入主要改变这一平衡而非整体提升。 单一模型各有偏向,SVM与WavLM偏向多报病理,ResNet-18与LSTM偏向少报,简单等权平均没有利用各模型的互补性。 可学习融合学到三个分量接近均匀的权重0.35、0.32、0.33,准确率0.874、F1 0.859;带性别嵌入的版本准确率0.877、AUC 0.922;等权集成AUC最高,为0.930。
四分类诊断比二分类筛查难得多,喉炎是其中最难识别的类别之一。 二分类只回答是否可能患病,四分类要求区分非病理、功能亢进性发声障碍、喉炎与喉返神经麻痹,类别间声学表现本就重叠。 HuBERT在四分类上准确率0.72、F1中位数0.63;可学习融合把F1提到0.659、准确率0.733,喉炎在融合模型中F1最低,WavLM经Kartoffelbox增广后对喉炎一个样本都未正确识别。
启示与展望
结果来自Saarbrücken嗓音数据库的标准化短句录音,二分类任务把71个病理类别合并为一个“可能患病”类,定位为筛查而非诊断;四分类只覆盖非病理、功能亢进性发声障碍、喉炎与喉返神经麻痹四类。测试集只含原始录音,且按说话人划分,模型只在未见过的说话人上评估。合成样本被明确定位为分布层面的增广,而非对炎症、声带麻痹等病理机制的生理模拟。
数据库录音采集于1997至2004年,模型在当代录音上的表现尚不清楚。许多诊断类别样本极少,即使采用分层划分与类别加权损失,这些类别的性能估计在统计上仍然脆弱。盲听评估由单一评分者完成,无法计算评分者间一致性。二分类队列中非病理说话者保留比例低于病理说话者,可能引入选择偏倚;四分类所用类别偏向女性说话者。
