口腔耐药组基准换了考法：只看留出簇时Hyena最好，换到外部数据库却是MoR更稳
口腔耐药组蛋白序列模型此前缺少排除同源记忆的评测。研究把26,324条蛋白按40%序列一致性聚成1,437个簇，用同一训练流程比较八种因果架构，并在CARD与NCBI AMRFinderPlus上做外部验证。留出簇上Hyena困惑度14.93最低，但外部验证中八种里只有四种优于残基组成基线17.99，参数匹配的MoR以17.40居首，Transformer则退化27%。
非线性记忆不再逐块近似：ParaTTT把测试时训练层改成并行迭代，340M模型训练快过TTT-MLP
测试时训练层把循环状态换成一个小型神经网络，在线梯度下降让它比线性记忆更有表达力，但每个词元的梯度都依赖此前全部更新，只能顺序计算。ParaTTT改为迭代修正隐藏层预激活梯度的估计，每轮由前向、读出和反向三次分块并行扫描组成，精确的在线递推是该迭代的不动点。在4K上下文下，两次修正以更少时间达到TTT-MLP分块近似的同等误差，340M与1.3B模型在困惑度和召回上不弱于Gated DeltaNet与Mamba-2。
注意力线性化不再一视同仁：少数离群维度单独分组，Qwen2.5-0.5B困惑度从31.71降到27.50
预训练注意力的近似误差集中在少数高贡献的查询—键维度上，按贡献分组共享系数的二次核在Qwen2.5-0.5B上把冻结注意力相对MSE降到0.432，并在替换中间层注意力后把WikiText-103困惑度从31.71降到27.50。
用固定16位二进制码替代可训练输入嵌入表，32层语言模型在约16-17B token上取得2.36困惑度并移除67.1M参数
该研究检验解码器语言模型是否必须为每个词元保留独立可训练输入向量：以V=65,536、d_model=1024为例，用固定16位二进制词元码加无参数平铺升维替换常规V×d_model输入表，移除67.1M可训练参数（约为未绑定学习输入基线的12.5%），三个训练种子下32层模型在约16-17B token上平均留出困惑度为学习输入基线2.44、规范二进制码2.36、仿射重编码2.39，作者说明这些描述性结果不构成统计优越性或等价性结论。
研究者为选择性状态空间模型推导架构感知的收敛界，并在六个文本域上比较九种联邦学习算法
该工作针对现代选择性状态空间模型（如 Mamba2）在分布式学习中行为不明的问题，推导了单层与多层选择性 SSM 的架构感知梯度界与光滑性界，以及 FedAvg 与 FedProx 的收敛界，刻画循环稳定性、输入依赖离散化和状态投影范数如何影响联邦优化；随后用教师 SSM 生成序列对单层界做数值验证，并据此形成关于本地训练与客户端异质性的预期，再通过在六个文本域上比较九种联邦学习算法进行 Mamba2 语言建模来检验这些预期。
HC-DLM 把连续隐状态当作唯一持久生成状态，在 Sudoku、Countdown 与 LM1B 上同时超过离散与连续扩散基线
该工作提出层次化连续扩散语言模型 HC-DLM，让连续隐变量成为唯一跨步持久的生成状态、每一步从隐状态读出 token 并回馈为下一步隐更新的条件支架，其训练目标由 token 似然的变分下界导出；在同等模型规模下，它在 Sudoku 与 Countdown 的谜题准确率以及 LM1B 的生成困惑度上均优于离散与连续扩散基线。
不重训模型、只保留注意力权重最高的少量token，九个检查点的有效注意力集合大小从7到283不等，且上下文越长所需集合越大
该研究在不重训模型的前提下，在每个头、层和查询处只保留注意力权重最高的若干token并保持其原始权重不变，通过测量负对数似然（NLL）的上升来估计维持给定损失容差所需的“有效注意力集合大小”，发现较小的集合即可让NLL接近全注意力基线、基于注意力的选择明显优于随机选择、所需集合大小随上下文延长而增大但其占上下文的比例下降，并且在固定标注支持事实的BABILong实验中，额外背景会把支持token挤下注意力排名并降低其注意力质量，而对保留权重做重归一化可大幅减小所需集合大小。
FRAC 用分数阶动力学把 SSM 的指数遗忘换成幂律长记忆，1.3B 模型长上下文优于 Mamba 与 GDN
该工作提出 FRAC，一种从分数阶动力学推导的选择性状态空间模型架构，用有限状态、对数间隔的指数模式之和逼近重尾分数阶核，把指数遗忘替换为幂律长记忆，在合成长尾与召回任务、1.3B 参数语言模型的长上下文评测以及 DNA 建模上优于 Mamba2、GDN、Mamba3 等 SSM 基线，同时在短上下文任务上保持竞争力。
WhiteMatter 让 Transformer 每层都能读取任意深度的历史表示，半量 KV 缓存下困惑度优于同规模基线
该工作提出 WhiteMatter，用可学习路由器把任意深度的历史 token 表示混合成共享的 KV 通道，使每层可读取跨层信息，并配合循环 Gauss–Seidel 迭代加速训练与预填充；在相同训练 token 预算下，半缓存 WhiteMatter 在最多约 1.3B 参数的两个规模上困惑度与下游平均分优于匹配的标准 Transformer，全缓存版本与层数更多的标准 Transformer 表现相当。
FactorEngram 用共享字典分解 n-gram 记忆，在 340M 与 1B 骨干上把 8K 长上下文检索准确率最高提升 43.3 个百分点
该工作提出 FactorEngram，把查找式 n-gram 记忆从「每个模式一个整体嵌入」改为「在跨模式共享的基向量字典上检索稀疏系数」，并用同一字典做基级别的上下文门控，在 340M 与 1B 参数 Transformer 骨干上改善了语言建模、下游任务与长上下文检索表现。