芬兰语语音模型不再只挑干净广播：从210万小时原始录音里按识别置信度筛出47.1万小时
核心概要
芬兰语语音自监督预训练不再只靠语音活动检测和语种识别挑数据。此前这类流程只保证片段里有语音，不判断语音质量；这套流程在语音活动检测和去重之后，用语音识别置信度作为预训练数据质量的代理，从210万小时原始广播中保留47.1万小时。在四个评测集上，置信度筛选比语种识别筛选的词错误率相对低3%到7%，尽管留下的训练数据更少。
深度剖析
广播档案可以成为语音自监督预训练的可用来源，前提是筛选足够严格。 此前的单语自监督研究要么用全部可用数据追求规模，要么依赖选定的广播节目和整理好的数据集，再配合语音活动检测或基于Whisper的片段抽取，这些做法针对的是把语音取出来，而不是按语音质量做系统选择。 在去重后的语音活动检测数据上训练wav2vec 2.0 Base Transformer，在保留率相近（约72%）时，置信度阈值筛选在四个基准中的三个上词错误率低于仅用语种识别筛选。
筛选流程分三级：先切出语音，再删掉重复内容，最后按识别置信度保留清晰语音。 语音活动检测用pyannote.audio得到120万小时语音片段并切成最长30秒的块；广播里广告、台标和重播节目造成大量重复，仅靠语音活动检测不够，于是用芬兰语wav2vec 2.0 Large生成的识别转写做去重，每个唯一转写只留一条，数据从120万小时降到89万小时。 置信度定义为预测的逐帧字符序列的平均对数概率，排除空白符号；转写分析显示有些短语在不同频道和时间段重复出现数万次，最终保留的47.1万小时中语种识别显示99%为芬兰语。
在参数量对齐的条件下，卷积增强的编码器在Base规模上明显优于标准Transformer。 此前的自监督研究在架构和模型规模上同时变化，例如Conformer版和Transformer版wav2vec 2.0分别用6.18亿和3.17亿参数，难以判断收益来自架构还是容量。 在统一的自监督框架内比较Transformer、Macaron-Net、Conformer和E-Branchformer，参数量从9500万到9.65亿对齐，卷积增强编码器在Base规模上相对Transformer最多降低37%的词错误率。
启示与展望
这套流程和结论建立在芬兰国家视听研究所的广播档案上，覆盖26个电视频道、85个广播电台和网络媒体内容，时间跨度为2009年至2025年。评测覆盖芬兰议会、Lahjoita puhetta、Common Voice 16.1、FLEURS以及从KAVI手工转写的两个一小时广播测试集。广播档案因版权和广播许可限制不能重新分发，但模型已公开。作者表示，虽然研究聚焦芬兰语，这些发现对其他拥有无约束音频来源的语言的自监督研究有参考价值。
作者指出，按转写去重可能减少同一短语由不同说话人说出时的声学多样性，但优先考虑去除极端冗余。在Large规模上，36层变体虽然域内表现有竞争力，泛化却不一致：Conformer在KAVI上相对退化5.8%，E-Branchformer在Common Voice上相对落后21%。到X-Large规模，卷积增强编码器的扩展不如Transformer均匀，出现特定领域的退化。