多说话人转写不再逐人独立解码：Pandemonium让说话人互相看见，会议基准平均错误率降到14.7
核心概要
面向多说话人会议转写的目标说话人识别此前按说话人逐个独立解码，且被限制在30秒窗口内。Pandemonium把说话人条件接入可整场解码的Parakeet长音频骨干，并加入跨说话人注意力与掩码修正模块，让同一场对话中的说话人表示在编码器内互相可见。在合成、伪标注与真实数据上训练后，该系统在多个会议基准上取得最优结果，并在预测说话人日志条件下平均cpWER为19.2。
深度剖析
多说话人转写从“每个说话人单独跑一遍、彼此不通信息”改为在同一编码器内让各说话人的表示沿说话人维度互相注意，同时把解码单位从30秒窗口扩展到整场对话。 此前的DiCoW类目标说话人系统虽然对每个说话人只输出其本人文本，但各次前向之间不交换信息，重叠语音、轮流发言和附和这些线索被丢弃，且训练与解码都固定在Whisper继承的30秒窗口上。 在理想说话人日志条件下，Pandemonium在NSF、AMI、ICSI、Mx6、SBC、DiPCo六个基准上的cpWER分别为14.1、13.4、13.3、11.1、13.8、22.4，平均14.7，低于DiCoW v3.3的16.3与SE-DiCoW的16.2；在预测说话人日志条件下平均为19.2，DiCoW v3.3为20.0。
跨说话人交互靠两个模块实现：一个在每一帧沿说话人轴做多头注意力，另一个根据这些交互后的状态重新估计每个说话人的活动并重建条件掩码。 说话人条件原本由日志给出的静音、目标、非目标、重叠四类帧级事件构成，但同一重叠帧对所有重叠说话人给出相同掩码，条件本身无法把他们区分开。 在仅用合成数据预训练的设置下，加入跨说话人注意力与掩码修正后平均cpWER为13.1，而同一架构改用30秒窗口训练则回落到17.1，说明增益依赖长音频上下文；训练数据为5.4千小时YODAS2挖掘音频中实际用于训练的4.6千小时伪标注对话。
启示与展望
演示范围是会议与对话类多说话人录音：训练用115小时真实会议数据、4千小时合成数据和4.6千小时伪标注YODAS2对话，评测覆盖NSF、AMI、ICSI、AISHELL-4、AliMeeting、SBC、Mixer6与DiPCo，指标为拼接最小排列词错误率cpWER，除注明外使用理想说话人日志。作者提出的后续方向包括把DiCoP与对话预训练语言模型融合、用剪枝transducer损失恢复TDT训练，以及联合训练日志与识别。
作者说明切换到CTC训练相对短片段TDT训练有少量精度损失，并称这一损失被交互模块带来的增益抵消；DiCoP基线本身仍是更强的TDT训练模型，比较对基线有利。伪标注数据单独训练时落后于纯合成数据，作者将其归因于评测偏英语而Parakeet不支持普通话，因而跨语言收益被掩盖。日志与识别仍分开训练，联合训练被列为后续工作。