# 梯度消失问题

门控循环网络的长程记忆瓶颈被定位到“门本身也要靠同一套循环计算学出来”，在受控序列分类任务里给训练集加入短依赖样本后，GRU与LSTM在长依赖测试上的准确率从接近随机回到约九成以上，并追平或超过Mamba与xLSTM。

门控循环网络的长程记忆瓶颈被定位到“门本身也要靠同一套循环计算学出来”，在受控序列分类任务里给训练集加入短依赖样本后，GRU与LSTM在长依赖测试上的准确率从接近随机回到约九成以上，并追平或超过Mamba与xLSTM。

作者提出 SpatialRNN，用受离散偏微分方程支配的空间演化介质取代神经元之间的直接循环连接，并证明该介质状态等价于对全部历史隐状态的卷积，即一个参数固定的结构化无穷阶 RNN；通过构造性条件把梯度模态约束在指定半径的圆上，从而在长程基准上以更少参数取得优于其他循环模型的性能。

作者提出 SpatialRNN，用受离散偏微分方程支配的空间演化介质取代神经元之间的直接循环连接，并证明该介质状态等价于对全部历史隐状态的卷积，即一个参数固定的结构化无穷阶 RNN；通过构造性条件把梯度模态约束在指定半径的圆上，从而在长程基准上以更少参数取得优于其他循环模型的性能。