Titan-Llama给预训练模型外挂神经记忆：冻结主干，长文问答准确率从23.87%升到40.51%
Titan-Llama把预训练Llama-3.2-1B-Instruct前四层改成块状注意力，并在每个KV头上外挂一个固定大小的神经记忆模块，用测试时训练把历史键值压进模块，主干参数保持冻结。在QuALITY上，相比仅用分段注意力窗口，准确率从23.87%升到40.51%；在LongHealth上从14.50%升到40.75%。评测配置下，中等上下文长度预填充快20%以上、解码快37%，稳态解码显存低24%。