神经控制器接管非线性时间最优MPC:训练数据减半,控制频率从1.4 Hz升到1 kHz
核心概要
非线性时间最优模型预测控制(TOMPC)能最快把受约束系统推到目标,但在线求解太慢,难以用于快速动力学系统。这套工作用神经网络模仿长时域、带硬终端约束的非凸TOMPC,并提出自知情采样:网络多输出一个“剩余时间”预测,只在轨迹偏离时间最优时向专家求解器要标签。在Furuta摆上,该采样约用三分之一训练时间、不到一半数据就达到标准数据集聚合的效果,所得控制器保持与专家相当的吸引域,GPU推理把控制频率从约1.4 Hz提高到1 kHz。
深度剖析
神经网络可以替代在线求解非线性时间最优MPC,在保持与专家控制器相同吸引域的同时把控制频率提高约三个数量级。 此前神经模仿多针对二次型跟踪目标且以仿真为主,硬件验证少见;长时域、带硬终端约束的时间最优形式因求解昂贵,连训练数据生成都受限。 在Furuta摆的1000个随机初始状态上,专家MPC与神经控制器在相同比例的情形下收敛,神经控制器中位收敛时间1.62秒,专家为1.35秒;GPU推理平均0.409毫秒、最大0.998毫秒,对应最高约1 kHz控制频率,而专家MPC平均114.165毫秒、最高可靠频率约1.36 Hz。
训练数据不必均匀覆盖状态空间,网络自己预测的剩余时间就能指出哪里需要专家标签。 标准数据集聚合(DAgger)对所有访问状态一视同仁地查询专家,不区分已学好的状态和仍需监督的状态。 把状态选择换成DAgger或基于20次前向传播、丢弃率30%的MC-dropout后,自知情采样达到可比性能约快三倍、所需训练数据不到一半。
整套训练与控制流程把数据相关、专家标签冲突、协变量偏移、约束满足和模型失配放在一起处理,并在物理Furuta摆上完成摆起与稳定。 已有工作分别处理这些挑战,缺少把它们整合起来的完整架构。 硬件上I/O线程以1 kHz运行、神经控制器以250 Hz运行,实际状态轨迹与仿真结果接近,倒立平衡点附近出现高频振荡控制量,归因于传感器噪声和残余模型失配,未影响稳定性。
启示与展望
验证对象是一个Furuta摆上的长时域、非凸、带硬终端约束的时间最优MPC,仿真对比覆盖感兴趣区域内1000个随机初始状态,硬件实验为摆起与稳定任务。读者应把它看作这一被控对象与这一MPC形式下的演示,而不是对其他系统或MPC形式的保证。
神经控制器在仿真中的中位收敛时间仍长于专家MPC,作者把剩余差距归因于训练不足或对冲突专家标签处理不充分。硬件上倒立平衡点附近出现高频振荡控制量,作者归因于传感器噪声和残余模型失配,并指出可用低通滤波进一步抑制。作者还指出,来自同样时间最优的不同模态之间的冲突标签尚未解决。
