循环网络的状态估计有了收敛保证:调大一个增益,误差指数收敛到任意小邻域
循环网络做状态估计时,此前只有经验表现,缺少收敛与鲁棒性的形式保证。这项工作把循环网络看作连续隐动力学的离散化,要求隐状态流满足收缩条件,从而证明存在一个光滑单射把真实物理状态嵌入隐空间;调大一个标量增益κ,估计误差以指数速度收敛到零的任意小邻域,代价是解码网络容量随κ多项式增长。在真实移动机器人位姿估计任务上,这种可证收缩的模型优于普通GRU,训练也更稳定。
循环网络做状态估计时,此前只有经验表现,缺少收敛与鲁棒性的形式保证。这项工作把循环网络看作连续隐动力学的离散化,要求隐状态流满足收缩条件,从而证明存在一个光滑单射把真实物理状态嵌入隐空间;调大一个标量增益κ,估计误差以指数速度收敛到零的任意小邻域,代价是解码网络容量随κ多项式增长。在真实移动机器人位姿估计任务上,这种可证收缩的模型优于普通GRU,训练也更稳定。
苏黎世大学与苏黎世联邦理工学院的团队提出循环神经网络CURRENT,用同一套网络完成主动脉4D flow MRI的空间、时间与时空超分辨。在合成数据上,它的空间超分辨方向误差为0.072±0.037,低于4DFlowNet的0.097±0.053;时间超分辨方向误差为0.062±0.031,与T4DFlowNet的0.064±0.031接近。时空超分辨得到的相对压降估计比单独空间或时间超分辨更接近高分辨参考,模型只用合成数据训练,在体数据上表现出可用的泛化迹象。
循环神经控制器要在神经元不断新生、位置移动、时间常数改变的发育过程中保持行为,此前只在初始或成熟单一底板上优化的控制器换到别的年龄往往失效。研究把发育时间作为输入交给一个紧凑的连接生成网络,在三个、五个或十五个发育快照上优化同一生成器,并在两种几何不同的底板和两项视运动任务上测试。只在三个快照上训练通常就足以让控制器在训练过和未训练过的年龄维持较高且较一致的表现,而生成的连接组随年龄大幅变化,并不收敛到单一的稀疏度或权重轨迹。
HART把Transformer块与RWKV块交替堆叠,让预测区直接检索历史,在GIFT-Eval与TIME-Benchmark的中长程上优于纯RWKV,并以36M参数在GIFT长程取得与Toto-2.0-1B相当的MASE。
门控循环网络的长程记忆瓶颈被定位到“门本身也要靠同一套循环计算学出来”,在受控序列分类任务里给训练集加入短依赖样本后,GRU与LSTM在长依赖测试上的准确率从接近随机回到约九成以上,并追平或超过Mamba与xLSTM。
跨脑区神经动力学建模多沿用线性方法,而每个脑区记录到的活动混杂着本地动态与跨区共享动态。CroP-DYNO把学习目标直接设为用源脑区活动预测目标脑区活动,从而优先提取共享动态,并允许逐一把模型各部件指定为线性或非线性。在猕猴S1–M1与大鼠CA1–CA3数据上,它在预测目标群体活动时优于非优先化的非线性模型和优先化的线性模型,还能定位非线性结构并给出与已知环路解剖一致的交互强度。
作者提出 SpatialRNN,用受离散偏微分方程支配的空间演化介质取代神经元之间的直接循环连接,并证明该介质状态等价于对全部历史隐状态的卷积,即一个参数固定的结构化无穷阶 RNN;通过构造性条件把梯度模态约束在指定半径的圆上,从而在长程基准上以更少参数取得优于其他循环模型的性能。
已读完全部报道