语音大模型不再按固定帧率压缩：让边界策略跟着识别结果学，英文少用约四分之一音频词

语音大模型的音频前缀可以按内容自适应地切段再池化，而不是每隔固定帧数合并一次。 此前的做法是固定帧率堆叠或池化，或者用 CTC 对齐按辅助目标分配 token；前者边界均匀，后者需要一个合适的帧级对齐目标。 在 LibriSpeech-960h 上，Transformer 版 ASSET 在 10.9/10.6 音频词每秒下取得 2.79/5.63% 的词错误率，接近使用转写文本的字符边界 oracle，而音频词更少。

边界决策是离散的，无法直接反向传播，因此用任务反馈来给整条分段打分。 池化函数在给定分段后可以直接用反向传播训练，但移动一个边界会改变帧的归属，普通梯度传不过去。 在 LibriSpeech-100h 的对照中，同一 Transformer 策略下，加入 GRPO 联合训练比冻结策略改善 0.14/0.41 个词错误率点，同时每秒少用约 3 个音频词。

每个分段用一个带顺序信息的残差池化汇总成一个连续音频词。 段内均值对帧的顺序不敏感，会丢掉编码器特征里的次序信息。 在边界完全相同、只换池化方式的对照里，BiGRU 残差池化把 test-clean 的词错误率改善 0.25 个点，test-other 基本不变。

报告面向做语音大模型和音频 token 压缩的研究人员与工程师，覆盖英文 LibriSpeech 与中文 AISHELL-1 的识别实验，以及情感识别和说话人计数上的探索性适配。分段策略在英文用字符级 CTC 边界冷启动，在中文用音素边界冷启动，随后由 GRPO 按任务反馈更新。非 ASR 任务的结果被作者描述为探索性观察，用于说明策略会随任务和说话方式变化。

作者把非 ASR 任务上的结果称为探索性实验，只说明学到的分段会随任务和同一句话的不同表达而变化，没有给出这些任务上的完整性能结论。中文实验使用音素边界初始化，作者指出普通话字符通常对应音节，因此音素对齐的 token 率高于字符对齐。策略模型的条件决策依赖此前的边界决定，采样过程是因果的而非独立的。