削弱跳跃连接造成的深度秩崩塌无法用损失项修复，恢复跳跃连接才能重开梯度通路
核心概要
作者通过削弱跳跃连接使小型 transformer 发生深度诱导的秩崩塌，再对崩塌网络施加两种仅在梯度是否消失上不同的秩损失项；两种损失项都未能修复崩塌，尽管有界力约为任务梯度的十分之一，原因是任务梯度不再到达决定注意力去向的 query 与 key 权重，而恢复跳跃连接这一不改变任何权重的运行时操作立即重开了该通路，秩随之恢复但仅在远高于崩塌尺度处，且损失始终高于健康网络。
Figure 1: Stable rank of the last block after the treatment is switched on, all treatments and collapse events of the main study (50-step median, as in the recovery rule; dotted line: recovery threshold). Only the reversed ramp recovers.
arXiv深度剖析
在由削弱跳跃连接驱动的深度诱导秩崩塌中，两种秩损失项（梯度消失的 penalty 与有界力的 hinge）都未能恢复秩：主研究各 0/8，复制实验同样为 0，未处理副本也未恢复。 此前在注意力熵崩塌中，有界力损失项可从保存的检查点修复已发生的崩塌，本文把同一思路移植到秩崩塌并检验其是否成立。 两个深度、五个种子共十次崩塌事件，外加每深度五个新种子的复制；崩塌被定义为末块稳定秩低于 1.5 并经过稳定判定，恢复定义为秩的 50 步中位数达到健康值一半。
有界力确实很大但无效：hinge 在参数处的力中位数为任务梯度的 0.0887，约为 penalty 的 0.0032 的 28 倍，四倍强度时为 0.3071，复制实验为 0.0782 与 0.0037。 把“力的大小”与“力是否到达”分开，说明损失项在损失处的量级不能代表其作用。 力以参数处附加梯度与任务梯度之比测量，逐崩塌事件给出中位数与范围；即使把附加梯度排除在梯度裁剪之外、强度提高到十倍，32 个分支仍无一恢复。
逐块测量显示任务梯度几乎不到达 query 与 key 权重：在 18 个网络中 17 个的每个块里 query 与 key 收到的梯度低于阈值，而健康网络为每块一定量级；梯度从末块到首块下降超过三个数量级，且几乎全部落在 value 投影上。 把 Noci 等人在初始化处推导的结论扩展到已训练网络，并给出崩塌内部逐块的梯度到达剖面。 在全部 18 个保存的崩塌网络上、不做任何训练地逐块测量任务梯度与 hinge 梯度，并以同种子无驱动网络作为健康参照。
恢复跳跃连接不改变任何权重却立即重开通路：设为 1 后第一步、任何更新之前，query 与 key 上的任务梯度在上升最少的块也放大约一个量级，中位块达到健康值的 1.2 倍；秩的恢复需要跳跃尺度回到 0.25–0.97（深度 12）与更高值（深度 24），至少为崩塌点的 12 倍，呈滞后现象。 把修复的约束从“加多大的力”改写为“梯度通路是否被恢复”，并给出恢复所需的尺度与时间条件。 反向斜坡下 8/8 与 10/10 恢复；立即切换实验中 0.3 与 0.6 分别 7/8 与 8/8 恢复，而 0.1 仅 2/8；延迟 500、1500、3000 步后切换则恢复更晚或不恢复，深度 24 无延迟分支恢复。
启示与展望
这项工作面向在训练中已经发生深度诱导秩崩塌、且架构无法更改的场景，说明此时可用的杠杆是恢复梯度通路而非加大损失项。对实践者而言，逐块测量梯度到达位置成本低且无需训练，可用于区分“通路关闭”的崩塌与“通路仍开”的秩下降；恢复跳跃连接这类运行时操作不改变权重即可重开通路，但需要把尺度恢复到远高于崩塌点，并且越早处理越好。作者也指出，在跳跃连接完好、由高学习率突发引起的秩下降中，通路保持开放，秩无需处理即可恢复，这为判断该用哪种干预提供了对照。
读者仍会关注若干开放问题：梯度通路只在每个网络的一个探针批次上测量，预注册检验依赖十与八个来自同一系统的留出网络，设计虽在主实验前固定但未独立加时间戳。崩塌状态中随时间变化的是什么尚未被识别，注意力模式并未改变。跳跃连接完好时未能产生稳定崩塌，因此这种崩塌是否会关闭通路仍未被检验。此外，按秩判定为恢复的网络其损失仍高于对照，秩这一指标报告了恢复而函数尚未恢复，如何判定一次训练真正恢复仍是待解问题。