# 计算深度

该工作提出 DepthBench 受控基准，在固定参数量与预训练配方下把宽深比（d_model/n_layer）从浅宽扫到深窄，比较 10 种代表性残差与归一化架构，发现深度带来的收益强烈依赖架构：Pre-LN 及其多数归一化/缩放变体在更深更窄时验证损失上升（Pre-LN 从 2.759 升至 2.782），而 HC 与 Full AttnRes 持续改善（HC 从 2.729 降至 2.699，Full AttnRes 从 2.751 降至 2.718），并伴随更强的层间因果依赖与顺序敏感性，但深模型也带来算力与显存开销。

该工作提出 DepthBench 受控基准，在固定参数量与预训练配方下把宽深比（d_model/n_layer）从浅宽扫到深窄，比较 10 种代表性残差与归一化架构，发现深度带来的收益强烈依赖架构：Pre-LN 及其多数归一化/缩放变体在更深更窄时验证损失上升（Pre-LN 从 2.759 升至 2.782），而 HC 与 Full AttnRes 持续改善（HC 从 2.729 降至 2.699，Full AttnRes 从 2.751 降至 2.718），并伴随更强的层间因果依赖与顺序敏感性，但深模型也带来算力与显存开销。