跳到主要内容
返回时间线
arXiv来源发表:

语音大模型能听出年龄性别,却分不清何时该用:显式标签让个性化变好,刻板选择也变多

核心概要

八个语音大模型在年龄与性别上大多能听出说话人属性,但把这种感知变成被要求的个性化很难,而一旦把人口标签直接写进提示,个性化提升的同时刻板选择也明显增加。

Source-provided article image: Personalization Without Stereotyping: Do Speech LLMs Know When to Turn a Deaf Ear?
Figure 1 · arXiv

深度剖析

语音大模型对说话人年龄和性别的感知,与它是否据此调整回答,是两件可以分开测量的事。 此前的语音评测要么只看内容任务上的群体差异,要么把未经用户请求的群体相关变化也算作个性化,同一行为在不同基准里可能被奖励也可能被惩罚。 BASIS-Bench把评测拆成人口鲁棒性、刻板偏见、个性化三条轴,并在语音与文本、隐式与显式标签四种模式下比较八个语音大模型。

模型在内容任务上跨群体表现接近,性别识别普遍可靠,年龄识别明显更难。 内容任务包括语音识别与口语问答,按口音、性别、年龄分组统计;人口分类则要求模型直接说出说话人属性。 八个模型的内容任务平均准确率在83.1到93.4之间,性别分类平均准确率在52.2到99.2之间,年龄分类在51.0到84.4之间,其中AF-3与Voxtral对老年说话人的识别接近零。

把人口标签显式写进提示后,个性化大幅提升,但刻板选择也随之增加。 隐式模式下模型只能从语音里推断人口信息,显式模式则额外给出文本标签,两者的差值用来区分感知失败与使用失败。 性别个性化在显式语音模式下多数模型接近满分,而刻板选择在显式条件下对女性与老年说话人分别平均上升4.7与20.1个百分点,Qwen3-Omni的增幅最大。

启示与展望

这套评测面向能接收语音输入、同时接受文本指令并输出文本的语音大模型,覆盖年龄与性别两条主线,口音只进入人口鲁棒性轴。评测在语音与文本、隐式与显式标签四种模式下进行,用来把感知与使用分开。适合关注语音助手行为一致性的研究人员与工程团队阅读。

评测只覆盖刻板偏见这一种表征偏见,不涉及交叉身份;性别采用二值分类,年龄分为儿童、成人与老年,均为受控抽象而非完整刻画。人口属性由语音推断,测的是模型对感知线索的使用,而非说话人自我认同。个性化与刻板偏见两轴使用合成语音,其声学变化与自然语音存在差异;BASIS-Health中的医学区分实为生理性别,不等同于从语音感知的性别。