非线性注意力使损失随深度呈反比衰减，线性注意力则受数据谱限制
核心概要
该研究在受控的上下文学习任务中比较线性与非线性注意力，发现非线性注意力能选择性聚焦相关词元，使强、弱谱方向并行学习，损失随深度呈反比衰减，而线性注意力的深度缩放依赖数据谱并很快进入平台。
Figure 1: The nonlinear-attention model can yield inverse-depth scaling across all tested data spectra. This overview compares depth-dependent performance across models and tasks. Colors distinguish data spectra, and all panels are plotted on a log-log scale.
arXiv深度剖析
在困难任务（top-k聚合）上，非线性注意力模型的评估损失随深度持续下降，拟合指数接近一，即反比深度缩放；线性注意力模型则在一到两层内进入与谱相关的平台。 此前线性注意力理论把深度缩放与幂律数据谱绑定，而实证工作观察到反比深度缩放却未解释其来源；该工作把反比深度缩放归因于注意力非线性。 受控Transformer在独立变化的输入谱与教师谱上训练至收敛，用对数空间最小二乘拟合损失-深度关系，拟合指数在测试谱上接近一。
损失可精确分解为跨层共享误差与层间差异项：共享误差随深度趋于与谱相关的常数，构成不可约损失平台；层间差异项被平均后按深度倒数缩减，带来持续增益。 该分解把反比深度改进与中心极限定理式的集成平均联系起来，解释了层间相似性为何产生集成行为。 在受控模型的并行表示下推导出精确恒等式，并在多个数据谱上追踪两项随深度的收敛；共享误差项单独拟合的衰减指数也接近一。
非线性注意力在困难任务上的不可约损失下限显著低于线性注意力，例如在所列谱设置中非线性约为2.007至0.341，线性约为59.853至2.120。 量化了两类注意力在可达到的最低损失上的差距，说明选择性聚焦直接降低了不可约误差。 表1给出两种模型在多个谱设置下的损失下限数值对比。
放宽两流编码、共享值矩阵与固定上下文等简化假设后，更接近标准Transformer的模型仍显示近似反比深度缩放的信号。 把受控分析扩展到共享表示空间、逐层独立值矩阵与上下文更新等更现实的架构选择。 附录C逐一放宽假设并重复实验，观察到共享误差与差异项趋于有限常数、损失呈近似反比深度趋势，但作者指出这些扩展深度范围有限，仅作为相似缩放信号的证据。
启示与展望
该结果面向研究深度缩放机制的理论与实证读者，适用于受控的上下文学习设置，尤其是归纳头式的检索与top-k聚合任务。它提示：当注意力具有非线性、能够选择性聚焦少数相关词元时，深度缩放可能较少依赖数据的全局协方差结构，这对稀疏、尖锐的目标分布尤为相关。作者指出，放宽两流编码、共享值矩阵与固定上下文等假设后仍观察到相似信号，因此该机制可能对采用非线性注意力的现实模型也有参考价值。
作者明确指出，简化架构省略了完整LLM的组件，所识别机制不保证在这些模型中成立；架构扩展虽显示相似缩放信号，但其机制尚缺清晰的理论说明；实验限于上下文学习任务，向真实数据集与更广任务类的泛化未经检验；该机制未必普遍或占主导，其他过程可能产生不同缩放或与之交互；分析也未涉及深度缩放如何与宽度和数据集规模耦合。此外，top-k任务在所列深度上指数偏离一更多，可能只在更大深度才进入渐近反比深度区间，这一点仍是开放问题。