研究者发现高 BOS 汇聚注意力头是冗余组件，据此剪枝在 Gemma-3、Llama-3.1 与 Qwen3 上比权重和激活准则更可靠地保留下游任务性能
该工作识别出 BOS 汇聚现象是驱动大语言模型层级冗余敏感性的关键机制，指出高 BOS 汇聚分数的注意力头（尤其在深层）对预测性能贡献很小、充当多余注意力权重的倾倒场，并提出一种简单剪枝策略移除高 BOS 汇聚头；在 Gemma-3、Llama-3.1 和 Qwen3 上的实验表明，该策略在下游任务保留方面比基于权重和激活的准则更可靠地识别冗余 Transformer 组件，在低到中等剪枝比例下接近稠密基线，且高汇聚分数头在上下文长度增长时仍持续聚焦于 BOS。