跳到主要内容
检索

# ParaTTT并行测试时训练算法

1 篇关联报道

订阅更新
  1. arXiv

    非线性记忆不再逐块近似:ParaTTT把测试时训练层改成并行迭代,340M模型训练快过TTT-MLP

    测试时训练层把循环状态换成一个小型神经网络,在线梯度下降让它比线性记忆更有表达力,但每个词元的梯度都依赖此前全部更新,只能顺序计算。ParaTTT改为迭代修正隐藏层预激活梯度的估计,每轮由前向、读出和反向三次分块并行扫描组成,精确的在线递推是该迭代的不动点。在4K上下文下,两次修正以更少时间达到TTT-MLP分块近似的同等误差,340M与1.3B模型在困惑度和召回上不弱于Gated DeltaNet与Mamba-2。

已读完全部报道