WavePrune将每个RoPE通道限制在首个旋转周期，在五个模型中的四个提升HELMET长上下文得分并在32K上下文取得1.15倍预填充加速

WavePrune把每个RoPE通道的注意力截断到波长等于一个旋转周期的局部窗口，形成随通道变化的细粒度掩码，而非按token的滑窗掩码。 此前工作把注意力图中的斜线结构视为长上下文建模的有用结构；本文将其中的“幽灵”次对角线归因于RoPE周期性带来的位置混叠，并证明在查询与键相同的设定下，最大logit会被近似复制到无穷多个滞后位置上。 理论方面给出定理1及其直接证明，并在附录B给出允许查询与键为随机对称分布的更强定理2；实证方面在PG19的100条4096 token序列上对Qwen3-8B与Ministral3-3B的注意力图取平均，并做逐通道logit分解。

免训练应用WavePrune在五个长上下文模型中的四个上提升HELMET平均分，Qwen3-8B由35.7升至40.0，其中Recall与ICL分别提升6.0与10.0分。 该改动不需要微调，也不改变RoPE频率谱，可与YaRN等频率重缩放方法叠加使用。 在Qwen3-8B、Qwen3-32B、Gemma3-12B、Ministral3-3B、Llama3.1-8B上报告HELMET各子任务均值与标准差，并另在lm-evaluation-harness的通用基准上报告结果；Llama3.1-8B上出现下降，附录E给出诊断。

从头预训练时启用WavePrune在训练长度2048、验证长度4096的设定下持续降低外推验证损失，且优于仅在推理时启用。 说明WavePrune不只是推理期的注意力修正，而是能改变模型学到的长度泛化模式。 在GPT2-base（117M）、GPT2-medium（345M）、GPT2-large（774M）三种规模上做配对训练，使用nanoGPT与OpenWebText；GPT2-medium外推损失3.0953对3.3314，GPT2-large为2.9536对3.1797，同分布验证损失与基线相当。

FlashWavePrune把头部维度按16维分组共享阈值，跳过完全掩蔽组并绕过其键缓存加载，在32K上下文相对FlashAttention-2取得1.15倍预填充与1.24倍解码加速。 将RoPE频率相关的通道级稀疏性转化为可在Tensor Core上执行的GEMM分组，使序列与头部两个维度的剪枝统一起来。 在NVIDIA A100、bf16、batch size 32、GQA 32查询头/8 KV头、头维度128的设定下，取10次预填充与50次解码计时的中位数；反向核在8K/16K/32K的开销分别为8.58%、3.81%、0.18%。

该结果面向使用RoPE的Transformer语言模型，适用于长上下文评测与从头预训练两种设定。免训练集成在Qwen3-8B、Qwen3-32B、Gemma3-12B、Ministral3-3B上有效，且作者说明WavePrune从模型更新后的频率（如YaRN）推导各通道波长，因此可与频率重缩放方法叠加。效率收益面向具备Tensor Core的GPU，在头维度128、32K上下文下预填充1.15倍、解码1.24倍，并随序列长度增长而扩大；作者还指出未来可通过在键与当前查询距离超过阈值后逐出缓存键分量来降低KV缓存占用。预训练收益在GPT2-base/medium/large三种规模、训练长度2048与验证长度4096的设定下测得，作者报告该优势在训练后提高RoPE base时仍然保持。

免训练收益在不同模型间并不一致，作者在Llama3.1-8B上观察到下降，并在附录E中将其归因于该模型某些头依赖波长约数百的高频通道稳定传递远超其波长的检索信号；作者尝试的若干补救措施均未恢复到未剪枝基线，因此哪些模型适合直接套用仍是开放问题。作者还指出剪枝阈值目前对所有注意力头相同，不同头可能承担不同角色，逐头设计或学习阈值尚未探索；细粒度掩码依赖RoPE，向其他位置编码与架构推广也留待后续。理论部分在定义通道敏感度时省略了旋转频率，作者说明数学上的截断稀疏度未必总是很小，更紧的分析尚未完成。此外，HELMET评测中作者用ROUGE-1 F1替代NarrativeQA的LLM-as-a-Judge并去掉了Summ子任务，通用基准与长上下文基准的具体数值需结合附录表格阅读。