跳到主要内容
返回时间线
arXiv来源发表:

循环网络的状态估计有了收敛保证:调大一个增益,误差指数收敛到任意小邻域

核心概要

循环网络做状态估计时,此前只有经验表现,缺少收敛与鲁棒性的形式保证。这项工作把循环网络看作连续隐动力学的离散化,要求隐状态流满足收缩条件,从而证明存在一个光滑单射把真实物理状态嵌入隐空间;调大一个标量增益κ,估计误差以指数速度收敛到零的任意小邻域,代价是解码网络容量随κ多项式增长。在真实移动机器人位姿估计任务上,这种可证收缩的模型优于普通GRU,训练也更稳定。

AI-generated editorial illustration: Provable State Estimation with Recurrent Models

深度剖析

循环网络估计动态系统状态时,现在可以给出收敛速度与可调性的形式保证,而不只依赖训练后的经验表现。 此前的循环模型(LSTM、GRU等)在序列任务上表现强,但缺少对收敛和鲁棒性的形式保证;已有的非线性收缩隐动力学存在性结果只覆盖对角隐向量场,而实际使用的循环架构在各隐坐标之间混合非线性。 在真实移动机器人位姿估计任务上,可证收缩的模型优于无约束的普通GRU,并且在5次训练种子的比较中训练更稳定;同一任务上,无约束GRU也收敛到收缩动力学。

做法是让隐状态按一个受观测驱动的连续向量场演化,并强制该向量场收缩,使网络指数遗忘初始条件。 收缩条件写成隐动力学雅可比矩阵的对称部分一致负定,这一条件由谱归一化和固定耗散系数在架构中直接满足,而不是训练后再检验。 在4栋建筑、14层、27.4公里、18小时12分的真实导航数据上训练,验证楼层与测试建筑均未参与训练;训练后的收缩GRU在全部验证轨迹上逐时刻满足单调性条件。

解码器只需从隐状态还原物理状态,其所需规模与增益κ和精度之间存在定量关系。 理想左逆可用时误差按κ的ℓ次方乘以指数衰减项收敛,ℓ为可观测性指数;用MLP近似该逆映射时,权重数随κ的ℓ次方与1/ϵ多项式增长。 在带未知参数的非线性振子仿真中,对κ取0.5到20、解码器宽度取32到4096各训练独立观测器,固定宽度下误差随κ增大先降后升,与解码器Lipschitz代价的预测一致。

启示与展望

结论针对由确定性常微分方程生成观测与目标变量的系统,要求物理状态可微分可观测、隐动力学收缩且满足滤波器秩条件;真实实验是移动机器人相对起始位置的位姿估计,训练时可用激光定位读数、部署时不可用。

理论保证是存在性结论,说明存在合适的权重,而非给出构造性训练算法;在训练中强制秩条件并不平凡,相关证据是经验性的。生成模型是确定性的,噪声鲁棒性以有界测量扰动的形式给出,并带有随κ的ℓ次方增长的噪声底;随机微分方程下的误差方差分析留待后续。仅重建不可观测状态的某个函数需要泛函可观测性框架,目前只在线性隐动力学下发展。