跳到主要内容
检索

# 状态空间模型

3 篇关联报道

订阅更新
  1. arXiv

    扩散模型把时间结构写进加噪过程:DSSD在气象与机器人视频上降低预测误差

    时空预测的扩散模型通常给每个未来帧加独立噪声,把时间相关性全部交给去噪网络学习。DSSD改为用可学习的对角状态空间模型构造加噪过程本身的时间算子,其衰减率与频率与去噪器联合训练,并用该模型平稳协方差的Cholesky因子保证算子因果、可逆且每帧噪声方差不变。在SEVIR、Turbulence、BAIR、RoboNet四个数据集上,它与共享同一去噪器的扩散基线比较取得更低的概率预测误差,其中SEVIR原始CRPS为3.975、最强基线DPM为4.174。

  2. arXiv

    一篇综述用59条发布记录和11个开源权重端点,把注意力演进重写成上下文记忆的组织问题

    这篇综述以“模型内部上下文记忆”为统一分析单位,提出记忆表示、记忆更新、访问、读出与整合五个维度,梳理Softmax注意力、稀疏注意力、线性注意力、状态空间模型与混合架构五条研究线,并用截至2026年9月22日的59条发布级记录(覆盖14个主要模型谱系)和11个高性能开源权重端点的冻结对比,说明注意力设计在走向多样化而非收敛,混合与跨层复用正在把网络深度变成组织上下文记忆的一个维度。

  3. arXiv

    FRAC 用分数阶动力学把 SSM 的指数遗忘换成幂律长记忆,1.3B 模型长上下文优于 Mamba 与 GDN

    该工作提出 FRAC,一种从分数阶动力学推导的选择性状态空间模型架构,用有限状态、对数间隔的指数模式之和逼近重尾分数阶核,把指数遗忘替换为幂律长记忆,在合成长尾与召回任务、1.3B 参数语言模型的长上下文评测以及 DNA 建模上优于 Mamba2、GDN、Mamba3 等 SSM 基线,同时在短上下文任务上保持竞争力。

已读完全部报道