# 递归最小二乘

Transformer跨层传递信息长期依赖把各层输出相加的残差连接，近期出现的mHC与AttnRes用更有表达力的深度聚合改进了这一点。Depth Memory把跨层信息流重新表述为用若干条流存储和读取层表示，并据此给出Linear Depth Memory（LDM）：它把跨层检索写成回归问题，用递归最小二乘精确求解，同时维护残差流、矩阵记忆流和逆协方差流。在400M Llama类与1.5B Qwen类骨干上分别用50B和100B FineWeb-Edu token预训练，LDM在验证集、WikiText-2和LAMBADA上的困惑度均低于调参后的PreLN、mHC与AttnRes，零样本准确率保持竞争力。

Transformer跨层传递信息长期依赖把各层输出相加的残差连接，近期出现的mHC与AttnRes用更有表达力的深度聚合改进了这一点。Depth Memory把跨层信息流重新表述为用若干条流存储和读取层表示，并据此给出Linear Depth Memory（LDM）：它把跨层检索写成回归问题，用递归最小二乘精确求解，同时维护残差流、矩阵记忆流和逆协方差流。在400M Llama类与1.5B Qwen类骨干上分别用50B和100B FineWeb-Edu token预训练，LDM在验证集、WikiText-2和LAMBADA上的困惑度均低于调参后的PreLN、mHC与AttnRes，零样本准确率保持竞争力。