残差连接之外多了一条深度记忆：LDM在400M与1.5B上困惑度低于PreLN、mHC与AttnRes
核心概要
Transformer跨层传递信息长期依赖把各层输出相加的残差连接，近期出现的mHC与AttnRes用更有表达力的深度聚合改进了这一点。Depth Memory把跨层信息流重新表述为用若干条流存储和读取层表示，并据此给出Linear Depth Memory（LDM）：它把跨层检索写成回归问题，用递归最小二乘精确求解，同时维护残差流、矩阵记忆流和逆协方差流。在400M Llama类与1.5B Qwen类骨干上分别用50B和100B FineWeb-Edu token预训练，LDM在验证集、WikiText-2和LAMBADA上的困惑度均低于调参后的PreLN、mHC与AttnRes，零样本准确率保持竞争力。
深度剖析
跨层信息传递不再只有把层输出逐层相加这一种做法，LDM让每一层从一份固定大小的记忆里按内容读取此前各层的信息。 标准PreLN Transformer的残差流对所有先前层给相同权重，mHC维护扩展残差流，AttnRes则显式保留并注意力读取先前层输出。 在400M Llama类骨干（50B token）与1.5B Qwen类骨干（100B token）上，主配置LDM取得最低的验证、WikiText-2与LAMBADA困惑度；1.5B上LAMBADA困惑度为8.42，低于mHC的9.05、AttnRes（Block）的8.84和PreLN的10.49。
记忆更新被当作一个跨层回归问题，用递归最小二乘在线求出精确解，而不是用外积或delta规则近似。 简单外积更新相当于把键的Gram矩阵近似为单位阵，delta规则每层只走一步梯度；LDM直接维护逆协方差，从而保留精确解。 400M消融中，把RLS换成delta规则或纯外积仍优于PreLN，但都达不到RLS的效果；去掉独立残差流的两个变体都不如PreLN。
为了让这套逐层递推在训练中可用，实现上不保存每层记忆状态，而是在反向传播时从最终状态原地回卷，并把一个窗口内的写操作推迟合并。 朴素实现要为反向传播保存每层状态，并在每次读写时搬运当前状态，带来激活内存和访存开销。 在1.7B至14B的Qwen3模型、多种序列与上下文长度和批大小下，LDM的训练、预填充与解码吞吐超过Full AttnRes，训练和多数推理设置下超过mHC，与Block AttnRes大体相当。
启示与展望
已展示的范围是语言模型预训练：400M Llama类骨干用50B FineWeb-Edu token、1.5B Qwen类骨干用100B token，另在400M与1.6B上按DepthBench协议扫描宽深比，吞吐在1.7B至14B的Qwen3模型上测量。适合关注Transformer架构与训练系统的读者；更大规模和其他领域属于后续工作。
LDM在训练时可能增加峰值内存，其他稳定的反向递推形式或检查点重算可能降低这部分开销。在400M的极深宽深比（42层与70层）下HC领先，LDM的困惑度在70层时上升；1.6B上LDM在每个考察的宽深比都取得最低困惑度。更大规模与其他领域尚未评估。