测试时训练层把循环状态换成一个小型神经网络，在线梯度下降让它比线性记忆更有表达力，但每个词元的梯度都依赖此前全部更新，只能顺序计算。ParaTTT改为迭代修正隐藏层预激活梯度的估计，每轮由前向、读出和反向三次分块并行扫描组成，精确的在线递推是该迭代的不动点。在4K上下文下，两次修正以更少时间达到TTT-MLP分块近似的同等误差，340M与1.3B模型在困惑度和召回上不弱于Gated DeltaNet与Mamba-2。
预训练注意力的近似误差集中在少数高贡献的查询—键维度上，按贡献分组共享系数的二次核在Qwen2.5-0.5B上把冻结注意力相对MSE降到0.432，并在替换中间层注意力后把WikiText-103困惑度从31.71降到27.50。
Jane Street的机器学习工程师与NVIDIA合作，用NVIDIA CUDA Tile（cuTile）这一Python端GPU编程模型重写了Mamba-2的前向计算，并针对Blackwell张量核心做了调度与访存优化。Mamba-2兼有循环网络的固定大小隐状态和注意力式的矩阵乘法训练路径，但前向计算仍需高效内核。在单块B300上，这组内核比Triton实现快1.14到1.82倍，加速幅度随序列长度和状态规模增大而提高；这是内核级结果，端到端训练还取决于反向传播实现。
Zebra3D把预训练3D重建模型的全局注意力按层敏感度换成线性与瓦片稀疏混合，在约94%平均注意力稀疏度下仍保持接近稠密模型的位姿精度，1024视角端到端提速最高5.6倍。
作者提出免训练的视觉 token 压缩框架 V-CoLA，针对含线性注意力的混合视觉语言模型，从线性注意力有界循环状态的保留偏好中导出唯一性感知的重要性准则，并配合自适应分块合并与深层视觉 token 提前退出；在 Qwen3.5-9B 等模型上，保留 50% 视觉 token 时达到原性能的 99.5%，保留 12.5% 时仍超过 88.0%，预填充加速 1.86 至 6.15 倍。
该研究在受控的上下文学习任务中比较线性与非线性注意力，发现非线性注意力能选择性聚焦相关词元，使强、弱谱方向并行学习，损失随深度呈反比衰减，而线性注意力的深度缩放依赖数据谱并很快进入平台。
该工作提出 Universal Attention，把查询感知、键感知与相似度三类衰减机制以几何平均组合成注意力矩阵的加性偏置，在保留 RoPE 与 Softmax 的前提下让模型自适应剪枝 KV-cache；在 1B、50B token 训练的 Llama3 架构上实现超过 10 倍压缩，RULER 平均分 50.3/49.3 高于未剪枝 Llama3 的 40.8，缓存仅 21.4/12.9 MB。
LOCI 提出一种混合空间记忆架构：在 30 个 transformer 块中的 15 个保留历史观测的键值缓存，另外 15 个只关注当前块并辅以一个由投影相机几何条件化读写的循环线性注意力记忆，循环读出会流入后续缓存块并为它们的查询提供累积场景上下文；在公开 MIND 记忆基准和留存的录制轨迹上，它比代表性世界模型和同配方全 softmax 模型更忠实地复现重访内容，全历史下等长度峰值内存降低约 30%，在有界观测库下以恒定内存流式生成长视频。
这篇综述以“模型内部上下文记忆”为统一分析单位，提出记忆表示、记忆更新、访问、读出与整合五个维度，梳理Softmax注意力、稀疏注意力、线性注意力、状态空间模型与混合架构五条研究线，并用截至2026年9月22日的59条发布级记录（覆盖14个主要模型谱系）和11个高性能开源权重端点的冻结对比，说明注意力设计在走向多样化而非收敛，混合与跨层复用正在把网络深度变成组织上下文记忆的一个维度。
已读完全部报道