有声书不再一个腔调念到底：Audible给每个角色配固定声线，对话区分度提高3.7分
核心概要
Audible技术团队把可控文本转语音用于有声书：先用大语言模型为书中每个角色建立固定声线档案，并为每句对白写出“紧张低语”这类自然语言表演说明，再由语音模型按说明合成。角色识别在25本英西语悬疑、科幻、言情小说上分别达到97%和94%的准确率；在MUSHRA听感测试中，对话区分度提高3.7分，十种声线中有八种在英西语测试里获得统计显著的听感提升。
深度剖析
有声书的长篇朗读开始按角色分配固定声线，而不是让一个通用语音模型从头到尾用同一种腔调念完。 通用文本转语音模型面向聊天机器人和虚拟助手这类持续数秒的交互，处理有声书时无法像人类朗读者那样在角色之间可靠地切换说话风格，听众因此难以区分旁白与对白，也难以判断哪句话出自哪个角色。 在25本英语和西班牙语的悬疑、科幻、言情小说上，由两名人工标注者建立真值，BookLLM识别每段话由谁说出（含区分旁白与对白）的准确率在英语和西班牙语上分别为97%和94%。
合成时每段文本连同该角色的声线档案一起送入语音模型，角色声线在整本书范围内保持固定。 这套流程由两部分组成：BookLLM先通读全书建立角色表，按重要性排序，并从精选声线库中为每个角色指派一个独立档案，主要角色之间刻意拉开对比，次要和一次性角色回落到默认旁白；随后它逐段判定说话人，并为每句对白写出表演说明。 BookLLM写出的说明正是可控语音模型训练时学会跟随的自然语言描述，例如“紧张地低语”或“愤怒地喊叫”；在MUSHRA标准化听感测试中，对话区分度提高3.7分，英西语测试里十种声线中有八种听感提升达到统计显著。
可控语音模型需要的不只是文本与语音配对，还需要描述语音听感的标注，而这类数据此前稀缺。 以往的可控语音模型难以处理高表现力的语音，因此现有训练数据大多语调中性；已有带韵律描述的数据集各自使用不同格式，有的长、有的短、有的只用单个标签，容易让模型过拟合特定格式。 训练数据通过新录音与对既有音频的人工标注扩充，并用大语言模型把原始提示改写成不同长度、详略和结构的形式以提升泛化；合成数据一侧用音高提取、语速提取和情绪检测等专家模型加信号处理算法抽取数值特征，交由大语言模型生成语音描述，另有一个做可控语音反向任务的语音描述器，两者迭代形成合成数据飞轮。
启示与展望
已展示的范围是有声书合成：在25本英语和西班牙语的悬疑、科幻、言情小说上评估角色与对白归属，并在英西语MUSHRA听感测试中比较对话区分度与十种声线的听感。
角色识别准确率按语种分别报告，英语97%、西班牙语94%；听感提升在十种声线中有八种达到统计显著，并非全部声线。