跳到主要内容
检索

# ResonatorLM语言模型

1 篇关联报道

订阅更新
  1. arXiv

    ResonatorLM:用因果谐振场混合替代注意力实现高效长上下文语言建模

    该工作提出 ResonatorLM,用由阻尼谐振子构成的因果谐振场混合器替代自注意力,把词元序列视为受驱动的潜在场,训练与预填充走 O(T log T) 的因果 FFT 卷积、解码走固定尺寸循环状态;在约 6M 参数的匹配设置下,WikiText-2 字符级测试困惑度由 4.617 降至 3.764、准确率由 55.32% 升至 61.31%,32K 词元处解码相对优化注意力块达 6.47 倍加速,另有独立的核级基准在 8K 与 32K 处分别报告 440.29 倍与 575.86 倍。

已读完全部报道