非线性记忆不再逐块近似：ParaTTT把测试时训练层改成并行迭代，340M模型训练快过TTT-MLP
核心概要
测试时训练层把循环状态换成一个小型神经网络，在线梯度下降让它比线性记忆更有表达力，但每个词元的梯度都依赖此前全部更新，只能顺序计算。ParaTTT改为迭代修正隐藏层预激活梯度的估计，每轮由前向、读出和反向三次分块并行扫描组成，精确的在线递推是该迭代的不动点。在4K上下文下，两次修正以更少时间达到TTT-MLP分块近似的同等误差，340M与1.3B模型在困惑度和召回上不弱于Gated DeltaNet与Mamba-2。
深度剖析
非线性快速权重记忆现在可以像线性循环一样按块并行计算，而不必让一段词元共享同一组权重来换取并行度。 此前的TTT-MLP把梯度评估按块冻结，块越大顺序步数越少、对逐词元学习的近似越粗，块越小越忠实但顺序步数越多。 在4K上下文、一个固定随机内层MLP上，两次ParaTTT修正以更短时间达到TTT-MLP默认块大小16的输出误差，并接近bf16噪声底。
做法是把难以并行的内层权重轨迹换成对隐藏层预激活梯度的猜测，再反复修正这个猜测。 给定这份梯度猜测后，原本非线性的权重更新就退化为系数已知的线性递推，可以交给已有的分块并行核。 每轮修正包含一次前向扫描、一次精确的门控delta规则读出扫描和一次反向扫描；在训练好的模型上，以逐词元精确递推为参照，不做迭代时下一词元一致率明显偏低，一次迭代后大幅提升，两次后进一步接近bf16噪声底。
启示与展望
展示范围是24层、340M与1.3B参数、在SlimPajama上分别训练15.7B与100B词元的语言模型，以及单层内核计时和固定随机内层MLP上的误差-时间对比。
收敛定理只覆盖两层变体、软裁剪替代单位球投影、线性注意力隐层更新和无中心化读出的简化设定，不包含硬投影、隐层delta规则与中心化；实际模型改用两次迭代训练，解码时不做迭代，因为单个新词元只是从缓存权重出发的一次精确梯度步。