跳到主要内容
返回时间线
arXiv来源发表:

训练动力系统不再逐步模拟:速度匹配让轨迹误差降一个数量级,还能换步长重算

核心概要

学习非线性动力系统的连续时间演化通常要展开轨迹目标,训练时反复数值积分并反传,代价随展开长度增长。速度匹配改用观测轨迹的分段线性插值与区间内随机取点,直接回归速度场,无需模拟学习到的动力学。在非线性常微分方程和半离散时变偏微分方程上,相同迭代预算下其误差比轨迹类目标低一个数量级以上,并能在训练未用的格式与步长下保持精度。

Source-provided article image: Learning to evolve by matching velocities
arXiv

深度剖析

训练连续时间动力系统可以不再展开学习到的动力学,而是直接对速度场做回归,训练成本与单步教师强制相当。 此前的轨迹类目标要在训练中数值积分学习到的系统并沿积分步骤反传,代价随展开长度增长;单步教师强制虽免去模拟,却只在一阶精度上逼近速度目标。 在自由刚体欧拉方程、Stuart–Landau 振子和 Müller–Brown 势中的活性粒子三个常微分方程算例上,相同迭代预算下速度匹配的测试轨迹误差比展开类策略低至多一个数量级,而后者测试误差在 10^-1 量级或更大。

速度匹配把学习到的速度场约束在观测轨迹的分段线性插值上,并在每个时间区间内均匀随机取点监督。 教师强制只在观测时刻监督速度场,速度目标由一阶有限差分给出;速度匹配改为沿插值弦取点,用同一有限差分作为目标。 每个样本每步只在一个配点上求值一次,因此单次迭代成本与显式欧拉教师强制更新相当,批量大小控制梯度估计的方差。

随机取点带来两项性质:对速度总体风险的二阶逼近,以及沿观测轨迹对学习到的雅可比作用的隐式匹配。 教师强制对速度总体风险只有一阶逼近;雅可比匹配此前需要真值雅可比,计算代价为每个训练状态的导数求值与内存。 在三个常微分方程算例上,速度匹配的测试雅可比误差比轨迹类策略低 3 至 9 倍,而训练中未使用任何雅可比信息。

学到的速度场可以在推理时换用与训练不同的数值格式和步长,而不损失精度。 轨迹类策略学到的更新只在训练所用格式与步长下准确,步长细化后误差反而上升并停在更高平台。 在欧拉、Stuart–Landau 和活性 Müller–Brown 三个系统上,速度匹配的误差随步长增大与真实速度场同格式积分的误差重合,随步长减小则停在不超过训练离散误差的平台。

启示与展望

演示范围限于无噪声观测下的非线性常微分方程与一维周期域半离散时变偏微分方程,训练、验证与测试共享同一架构和优化超参数,测试时域为训练时域的两倍。连续时间近似的评估在常微分方程基准上进行,因为那里真实速度场有闭式表达。

稳定性估计中的常数随时间时域与学习速度场的 Lipschitz 常数指数增长,可能变得不具信息量。随机配点对带噪声观测以及振荡、保守、耗散或多尺度等具体动力学类别的影响基本未被考察,配点分布如何按系统类别设计仍是开放问题。