Titan-Llama把预训练Llama-3.2-1B-Instruct前四层改成块状注意力，并在每个KV头上外挂一个固定大小的神经记忆模块，用测试时训练把历史键值压进模块，主干参数保持冻结。在QuALITY上，相比仅用分段注意力窗口，准确率从23.87%升到40.51%；在LongHealth上从14.50%升到40.75%。评测配置下，中等上下文长度预填充快20%以上、解码快37%，稳态解码显存低24%。
测试时训练层把循环状态换成一个小型神经网络，在线梯度下降让它比线性记忆更有表达力，但每个词元的梯度都依赖此前全部更新，只能顺序计算。ParaTTT改为迭代修正隐藏层预激活梯度的估计，每轮由前向、读出和反向三次分块并行扫描组成，精确的在线递推是该迭代的不动点。在4K上下文下，两次修正以更少时间达到TTT-MLP分块近似的同等误差，340M与1.3B模型在困惑度和召回上不弱于Gated DeltaNet与Mamba-2。
该工作把测试时训练（TTT）层加入 Decision Transformer，构成 Decision Titan，并在用于检验序列记忆的 X-Maze 环境中分析其性能与记忆机制：模型能学到比上下文窗口长 20 倍的长程依赖，可泛化到训练数据 1.7 倍的长度，但时间泛化取决于所用的时间嵌入，而长程依赖的学习能力取决于相关信息如何被编码。
EvolvingAvatar 提出一种因果式交互 3D 头部生成器，在推理时用测试时训练从用户人脸视频与双方音频中自适应，通过 Dyadic Context Prediction 自监督目标、持久快权重与瞬时下颌适应来生成说话与倾听动作，并配套发布 455.95 小时的 InterHead-Bench 基准；实验显示其对话动作统计优于强基线，在最难的分布外划分上随对话推进而改善，与录制用户—头像表情统计的失配从第一个区间起最多降低 11.1%。
已读完全部报道