SpatialRNN 用 PDE 介质替代神经元直连，在复制任务上以 6.8k 参数保持近 100% 准确率，而 HORNN 退化到约 13%
核心概要
作者提出 SpatialRNN，用受离散偏微分方程支配的空间演化介质取代神经元之间的直接循环连接，并证明该介质状态等价于对全部历史隐状态的卷积，即一个参数固定的结构化无穷阶 RNN；通过构造性条件把梯度模态约束在指定半径的圆上，从而在长程基准上以更少参数取得优于其他循环模型的性能。
Figure 1: Schematic of the model architectures. ( a ) SpatialRNN: The neuron states h t h_{t} (represented by white nodes) are coupled through a shared spatiotemporal communication medium ψ t \psi_{t} (color coded), where information propagates locally over space and time. Each node writes to and reads from the medium, inducing wave-like interactions that encode past activity. ( b ) HORNN: Nodes correspond to neuron states h t h_{t} , and interactions are explicitly represented by edges connecting the current state to a finite set of past states h t − k h_{t-k} , for k = 1 , … , d k=1,\ldots,d . For d = 1 d=1 , the model reduces to a standard RNN. Block diagrams of the corresponding discretized computations are shown on the right of each panel.
arXiv深度剖析
SpatialRNN 把神经元间通信改为由离散 PDE 支配的空间介质，介质状态被证明等价于对全部历史隐状态的卷积，因此模型等价于一个结构化无穷阶 RNN，具有无界感受野而参数数量固定。 此前有限阶 HORNN 的感受野受阶数限制，而无穷阶 RNN 在参数与内存上不可行；该工作用四个固定尺寸矩阵隐式编码无穷序列的卷积核，在保持常数内存的同时获得无界感受野。 定理 2.3 给出介质状态与历史卷积的等价性证明，卷积核由二阶线性差分方程的脉冲响应递归定义。
作者证明有限阶 HORNN（含标准 RNN）无法鲁棒地维持临界稳定：输入相关的对角因子直接扰动控制模态衰减的系数，因此无论怎样参数化都会落入梯度消失或爆炸区间。 该结论不依赖具体参数化，覆盖正交、非正规与对角 RNN 等此前用于缓解梯度问题的方案，说明这些约束只能延缓而不能消除梯度衰减。 命题 3.1 与命题 3.2 通过特征方程与反证法给出，证明仅依赖输入相关因子乘以整个循环算子这一事实。
对 SpatialRNN，作者给出构造性条件，使梯度动力学的伴随矩阵在每个块上恰有模为指定半径的简单特征值，且对任意输入相关扰动保持不变；取半径 1 实现记忆保持，取更小半径提供可控遗忘。 与一阶循环中非线性直接缩放每步梯度不同，二阶递推把输入相关扰动与决定梯度模态幅值的系数分离，使幅值可保持不变。 定理 3.3 利用权重矩阵的块上三角结构把特征方程分解为独立二次方程，条件 2 保证判别式为负从而得到复共轭根。
在复制任务、psMNIST 与 npCIFAR10 上，SpatialRNN 以更少参数取得有竞争力的结果：复制任务中 6.8k 参数模型在全部序列长度上保持近 100% 验证准确率，而 64 神经元 HORNN 退化到约 13%；npCIFAR10 上 88 神经元模型达 57.2%，且性能对追加噪声量不敏感。 复制任务同时充当状态维度与 PDE 结构的消融：二阶 HORNN 已匹配 SpatialRNN 的阶数与状态维度，但仍受命题 3.2 约束并最终失去准确率。 实验未使用 dropout 或归一化等正则化，全部使用标准 BPTT；psMNIST 与 npCIFAR10 报告三次独立初始化的结果。
启示与展望
该结果面向需要固定尺寸状态、长时保持与选择性遗忘的流式序列问题，作者点名传感器监测、长时程控制与时空信号预测，并认为介质的局部性与几何结构可提供有用的归纳偏置。方法层面，块三角权重结构使每个块的梯度模态半径可由参数直接设定，半径取 1 用于保持、取更小值用于遗忘；非耗散块保持辛结构，理论上可从最终状态精确反推完整轨迹，把 BPTT 的内存需求降到与序列长度无关，而含耗散块时需缓存或每若干步做检查点。作者还预期该形式适用于以波为计算基质的物理计算硬件。
冻结时间分析给出的保证是任意切换下临界稳定的必要而非充分条件，因为单位模谱矩阵的乘积仍可能增长或衰减；作者报告训练后 SpatialRNN 的精确雅可比在 psMNIST 轨迹上 1000 步仅变化约 1%，但漂移并未被证明为非指数。作者指出，对完整线性时变系统建立临界稳定的充要条件仍是开放问题。此外，介质的信息容量受其维度与数值精度限制，无界感受野不等于无损保留任意长历史；npCIFAR10 上性能对噪声长度不敏感，说明瓶颈在分类表达力而非记忆。有限精度下反向重构的可靠性取决于动力学区间，耗散块会指数放大舍入误差。