# 上下文记忆

这篇综述以“模型内部上下文记忆”为统一分析单位，提出记忆表示、记忆更新、访问、读出与整合五个维度，梳理Softmax注意力、稀疏注意力、线性注意力、状态空间模型与混合架构五条研究线，并用截至2026年9月22日的59条发布级记录（覆盖14个主要模型谱系）和11个高性能开源权重端点的冻结对比，说明注意力设计在走向多样化而非收敛，混合与跨层复用正在把网络深度变成组织上下文记忆的一个维度。

这篇综述以“模型内部上下文记忆”为统一分析单位，提出记忆表示、记忆更新、访问、读出与整合五个维度，梳理Softmax注意力、稀疏注意力、线性注意力、状态空间模型与混合架构五条研究线，并用截至2026年9月22日的59条发布级记录（覆盖14个主要模型谱系）和11个高性能开源权重端点的冻结对比，说明注意力设计在走向多样化而非收敛，混合与跨层复用正在把网络深度变成组织上下文记忆的一个维度。