arXiv 2026年2月10日该工作从优化角度重新审视残差连接，证明残差连接的布局会从根本上影响收敛行为、甚至造成收敛速率的指数级差距，并提出 ANCRe 这一轻量框架，将残差连接参数化并从数据中学习，在计算与内存开销低于 1% 的前提下自适应重分配残差连接，从而更有效地利用网络深度；在大语言模型预训练、扩散模型和深层 ResNet 上的大量数值实验显示，相比传统残差连接，其收敛更快、性能更好、深度效率更高。该工作从优化角度重新审视残差连接，证明残差连接的布局会从根本上影响收敛行为、甚至造成收敛速率的指数级差距，并提出 ANCRe 这一轻量框架，将残差连接参数化并从数据中学习，在计算与内存开销低于 1% 的前提下自适应重分配残差连接，从而更有效地利用网络深度；在大语言模型预训练、扩散模型和深层 ResNet 上的大量数值实验显示，相比传统残差连接，其收敛更快、性能更好、深度效率更高。ANCRe 让残差连接可学习：在开销低于 1% 的情况下加速大语言模型、扩散模型与深层 ResNet 的收敛该工作从优化角度重新审视残差连接，证明残差连接的布局会从根本上影响收敛行为、甚至造成收敛速率的指数级差距，并提出 ANCRe 这一轻量框架，将残差连接参数化并从数据中学习，在计算与内存开销低于 1% 的前提下自适应重分配残差连接，从而更有效地利用网络深度；在大语言模型预训练、扩散模型和深层 ResNet 上的大量数值实验显示，相比传统残差连接，其收敛更快、性能更好、深度效率更高。该工作从优化角度重新审视残差连接，证明残差连接的布局会从根本上影响收敛行为、甚至造成收敛速率的指数级差距，并提出 ANCRe 这一轻量框架，将残差连接参数化并从数据中学习，在计算与内存开销低于 1% 的前提下自适应重分配残差连接，从而更有效地利用网络深度；在大语言模型预训练、扩散模型和深层 ResNet 上的大量数值实验显示，相比传统残差连接，其收敛更快、性能更好、深度效率更高。