跳到主要内容
检索

# 分数阶状态空间转移

1 篇关联报道

订阅更新
  1. arXiv

    FRAC 用分数阶动力学把 SSM 的指数遗忘换成幂律长记忆,1.3B 模型长上下文优于 Mamba 与 GDN

    该工作提出 FRAC,一种从分数阶动力学推导的选择性状态空间模型架构,用有限状态、对数间隔的指数模式之和逼近重尾分数阶核,把指数遗忘替换为幂律长记忆,在合成长尾与召回任务、1.3B 参数语言模型的长上下文评测以及 DNA 建模上优于 Mamba2、GDN、Mamba3 等 SSM 基线,同时在短上下文任务上保持竞争力。

已读完全部报道