ANCRe 让残差连接可学习：在开销低于 1% 的情况下加速大语言模型、扩散模型与深层 ResNet 的收敛
相关研究与后续进展
核心概要
该工作从优化角度重新审视残差连接，证明残差连接的布局会从根本上影响收敛行为、甚至造成收敛速率的指数级差距，并提出 ANCRe 这一轻量框架，将残差连接参数化并从数据中学习，在计算与内存开销低于 1% 的前提下自适应重分配残差连接，从而更有效地利用网络深度；在大语言模型预训练、扩散模型和深层 ResNet 上的大量数值实验显示，相比传统残差连接，其收敛更快、性能更好、深度效率更高。
Figure 4 : ANCRe applied to standard Transformer comprising LN, MHSA, and FFN modules.
arXiv深度剖析
论文从优化视角重新审视残差连接这一加深神经网络的默认机制，并给出严格分析，证明残差连接的布局能够从根本上塑造收敛行为，甚至导致收敛速率出现指数级差距。 以往残差连接多被视为固定的架构默认项，而该工作把连接布局本身提升为影响收敛性质的分析对象，并给出可证明的速率差距结论。 证据来自论文所述的严格分析（rigorous analysis），属于理论层面的论证；摘要未给出定理编号、假设条件或具体速率表达式。
提出 ANCRe（adaptive neural connection reassignment），一个原则性且轻量的框架，将残差连接性参数化并从数据中学习，实现残差连接的自适应重分配。 相对传统固定残差连接，该方法让连接结构随数据自适应调整，而不仅是加深网络或调整权重。 摘要说明其计算与内存开销可忽略（<1%），但未给出参数化形式、学习目标或优化细节。
在大语言模型预训练、扩散模型和深层 ResNet 上的大量数值测试中，ANCRe 相比传统残差连接表现出一致的收敛加速、性能提升和深度效率增强。 该结果把方法从分析推广到多类模型与任务，覆盖语言建模、生成建模与视觉骨干网络三类场景。 证据为跨三类模型的数值实验，摘要称结果“一致（consistently）”；未提供具体数据集、模型规模、指标数值或消融设置。
启示与展望
该工作面向需要加深网络的训练场景，尤其是大语言模型预训练、扩散模型和深层 ResNet 这类深度敏感架构；其价值在于以低于 1% 的计算与内存开销换取更有效的深度利用，因此适用于对训练开销敏感、又希望从深度中获取收益的团队。理论上，残差连接布局与收敛速率之间的关联为后续设计可学习连接结构提供了分析起点；实践上，它提示把连接拓扑纳入可训练组件，而不只是调节层数或宽度。
摘要层面尚未说明严格分析所依赖的假设、指数级收敛速率差距的具体形式，也未给出 ANCRe 的参数化方式、学习目标与训练稳定性表现。数值测试虽覆盖大语言模型预训练、扩散模型与深层 ResNet，但缺少数据集、模型规模、评价指标与消融实验的具体信息，因此“一致加速收敛、提升性能、增强深度效率”的幅度与适用边界仍需在正文中确认。此外，低于 1% 的开销是相对何种基线、在何种配置下测得，也属于读者需要进一步核对的开放问题。