全双工语音模型聊到十分钟就崩：自蒸馏加双分辨率上下文，把语音内容与音色退化压低71–96%
核心概要
全双工语音对话模型在长会话中会出现响应变慢、内容失序和音色漂移，此前缺少针对这一稳定性的专门训练与结构设计。研究用闭环模拟用户逐分钟量化四款公开模型的退化，再以特权上下文自蒸馏做轻量LoRA适配，并叠加双分辨率上下文（TRC）压缩较早历史。在三种架构不同的模型上，自蒸馏在十分钟训练时长内缓解退化，加入TRC后语音内容与音色退化相对基线降低71–96%，并把改善延续到二十分钟会话。
深度剖析
全双工语音模型的长会话稳定性被单独拿出来测量和改善，而不只看单轮或短时交互表现。 此前的评测覆盖轮流发言、打断与多轮对话等能力，也观察到跨对话轮次的退化，但模型行为在持续数十分钟的会话中如何演变仍不清楚。 闭环模拟中，Moshi的响应超时率从第7–8分钟的12.7%升到第8–9分钟的70.2%，十分钟时累计会话终止率达96.7%；PersonaPlex与Raon-SpeechChat的对话质量均值分别从4.90和4.62降到1.08和1.03，末分钟词错误率达97.9%和98.7%。
退化可以靠少量额外训练压住，并在超出训练时长后继续被上下文压缩维持。 单独用LoRA自蒸馏时，三种模型在十分钟训练范围之外都急剧恶化，18–20分钟的词错误率落在88.7%到99.6%之间。 在PersonaPlex、MiniCPM-o 4.5和Raon-SpeechChat上，自蒸馏加TRC使语音内容与音色退化相对基线降低71–96%；PersonaPlex在18–20分钟仍保持3.53的对话质量，Raon-SpeechChat的对话质量与词错误率为3.29和44.3%，MiniCPM-o 4.5为4.64和5.8%。
做法是把短会话中的可靠行为蒸馏进长会话，并让较早的对话历史以压缩形式留在注意力里。 教师模型在短片段上生成对话，每段开头附上前文摘要，学生模型则在拼接后的连续轨迹上 teacher forcing 地复现教师的预测。 训练同时约束内容与说话控制两类token的KL散度，并匹配送入音频解码器的隐藏表示；TRC把会话切成时间片，片内原始token只在局部窗口保留，离开窗口后仅留一个gist token，训练只更新该嵌入与Q/K/V/O上的LoRA适配器。
启示与展望
评测覆盖Moshi、PersonaPlex、MiniCPM-o 4.5和Raon-SpeechChat四款公开模型，诊断用90段英语会话、三种人设与十个日常话题，每段目标600秒；适配与二十分钟扩展评测在PersonaPlex、MiniCPM-o 4.5和Raon-SpeechChat三款模型上进行，Moshi因与PersonaPlex共享主干而未单独适配。模拟用户始终等模型说完再回应，让出话轮，也不主动生成附和或打断。
模拟器不发起打断或附和，因此这两类用户行为下的长会话稳定性未被测试。高压缩下记忆召回仍然有限：在FictionalQA单针任务上，TRC的召回通常低于基线的短期召回，只是在长会话中更稳定，且召回水平随压缩程度变化。适配数据规模有限，可能影响模型原生全双工行为的多样性。