跳到主要内容
返回时间线
arXiv来源发表:

系统辨识不再逐台建模:只匹配输入信号,连续搅拌反应器预测误差从1.249降到0.242

导语

一个在合成Wiener-Hammerstein系统上离线预训练的元模型,可直接从新系统的输入输出片段零样本预测输出,在非线性辨识基准上取得与主流方法相当的精度,且只微调输入侧就能把分布外连续搅拌反应器的预测误差从1.249降到0.242。

Source-provided article image: In-Context Learning for System Identification: Probabilistic Formulation, Long-Sequence Handling, and Benchmark Validation
Figure 1 · arXiv

正文

系统辨识多了一条不逐台建模的路径:一个离线预训练的元模型接收新系统的一小段输入输出记录和一条查询输入,直接给出对应输出,不再为每台系统单独估计模型。 传统流程要为每台系统单独选择模型结构、辨识方法和超参数,每来一份新数据就从头重复一遍,先前辨识过的系统信息不会被复用。 在320个同分布Wiener-Hammerstein仿真系统上,分块与集成两种长序列处理方式的均方根误差分别为0.048和0.038,预测窗口长度为1000。

元模型把预测写成概率分布,每个时间步同时输出均值和标准差,标准差即该步的预测不确定度。 此前的点估计只给出一个输出值,无法说明这个值有多可信。 训练以最小化预测分布与真实条件分布之间的KL散度为目标,分布取对角协方差的多变量高斯,训练损失用蒙特卡洛平均近似。

预训练元模型还能反过来给经典辨识生成合成数据,在真实数据稀少时充当正则项。 真实训练集小或激励信息不足时,只在这份数据上训练的柔性参数模型容易过拟合、外推差。 在训练集很小的耦合电驱动基准上,最大似然加权把合成样本按不确定度反比计入损失,蒙特卡洛多次运行下指标中位数改善且波动更小。

接下来

这套元模型面向的读者是需要反复辨识同类系统的控制与辨识研究者,适用场景是每台系统的真实数据稀缺或激励信息不足。它已在Wiener-Hammerstein、带溢流的级联水箱和耦合电驱动三个公开非线性辨识基准的真实数据上测试,基准数据只作为上下文,不参与训练。作者提出的下一步是向数十亿参数的大规模元模型扩展,以及做蒸馏架构以便用于实时和边缘设备。

元训练需要在大规模合成语料上做可观的离线计算,这是经典辨识在单系统上不需要的。元模型在推理时相对笨重,不如简约参数模型适合嵌入式或资源受限实现。在每系统数据充足且质量高时,经典辨识仍能达到更高的渐近精度。元模型给出的是预测而非可直接解释的参数化表示,当需要频响分析、灵敏度研究或控制设计时这一点构成限制。

来源