# 深度诱导的秩坍缩

作者通过削弱跳跃连接使小型 transformer 发生深度诱导的秩崩塌，再对崩塌网络施加两种仅在梯度是否消失上不同的秩损失项；两种损失项都未能修复崩塌，尽管有界力约为任务梯度的十分之一，原因是任务梯度不再到达决定注意力去向的 query 与 key 权重，而恢复跳跃连接这一不改变任何权重的运行时操作立即重开了该通路，秩随之恢复但仅在远高于崩塌尺度处，且损失始终高于健康网络。

作者通过削弱跳跃连接使小型 transformer 发生深度诱导的秩崩塌，再对崩塌网络施加两种仅在梯度是否消失上不同的秩损失项；两种损失项都未能修复崩塌，尽管有界力约为任务梯度的十分之一，原因是任务梯度不再到达决定注意力去向的 query 与 key 权重，而恢复跳跃连接这一不改变任何权重的运行时操作立即重开了该通路，秩随之恢复但仅在远高于崩塌尺度处，且损失始终高于健康网络。