作者提出WavePrune，一种免训练方法，将每个RoPE通道的注意力限制在其首个旋转周期内，从而消除位置混叠造成的“幽灵”次对角线；在五个长上下文模型中的四个上提升HELMET得分（Qwen3-8B由35.7升至40.0），在从头预训练时降低外推长度上的验证损失，并通过FlashWavePrune在32K上下文相对FlashAttention-2取得1.15倍预填充与1.24倍解码加速。
该工作提出 FRAC，一种从分数阶动力学推导的选择性状态空间模型架构，用有限状态、对数间隔的指数模式之和逼近重尾分数阶核，把指数遗忘替换为幂律长记忆，在合成长尾与召回任务、1.3B 参数语言模型的长上下文评测以及 DNA 建模上优于 Mamba2、GDN、Mamba3 等 SSM 基线，同时在短上下文任务上保持竞争力。
上海交通大学与字节跳动 Seed 的研究者提出 PISA，一种用金字塔式由粗到细 Top-K 选择加 LogSumExp 打分、并配 Triton 核的块稀疏注意力机制，把块选择复杂度从 O(N²/C) 降到 O(N log N)，在 418M、1.47B、2.67B 三个规模上与 BSA、NSA、HiLS 在语言建模和常识推理上表现相当，在六项检索任务上取得稀疏方法中最高平均准确率，并在 64K、128K、256K 序列长度上分别比 BSA 的块选择快 2.86 倍、5.31 倍、9.95 倍。
该工作提出 ResonatorLM，用由阻尼谐振子构成的因果谐振场混合器替代自注意力，把词元序列视为受驱动的潜在场，训练与预填充走 O(T log T) 的因果 FFT 卷积、解码走固定尺寸循环状态；在约 6M 参数的匹配设置下，WikiText-2 字符级测试困惑度由 4.617 降至 3.764、准确率由 55.32% 升至 61.31%，32K 词元处解码相对优化注意力块达 6.47 倍加速，另有独立的核级基准在 8K 与 32K 处分别报告 440.29 倍与 575.86 倍。
已读完全部报道