跳到主要内容
检索

Guancheng Du

1 篇关联报道

订阅更新
  1. arXiv

    WavePrune将每个RoPE通道限制在首个旋转周期,在五个模型中的四个提升HELMET长上下文得分并在32K上下文取得1.15倍预填充加速

    作者提出WavePrune,一种免训练方法,将每个RoPE通道的注意力限制在其首个旋转周期内,从而消除位置混叠造成的“幽灵”次对角线;在五个长上下文模型中的四个上提升HELMET得分(Qwen3-8B由35.7升至40.0),在从头预训练时降低外推长度上的验证损失,并通过FlashWavePrune在32K上下文相对FlashAttention-2取得1.15倍预填充与1.24倍解码加速。

已读完全部报道