旋转爆震发动机换模态难控:把参考系跟着爆震波走,深度强化学习才学得稳
核心概要
旋转爆震发动机的爆震波传播快、工作模态变化慢,两个时间尺度相差悬殊,直接训练深度强化学习控制器很难收敛。把强化学习问题改写到跟随爆震波图形的运动参考系里,波结构对智能体近似准稳态,快慢过程被分开。在一维降阶模型上,用空间分段喷注压力作控制,运动参考系里训练的控制器比静止参考系更可靠,能覆盖更宽的作动周期范围,并实现不同锁模状态之间的快速切换。
深度剖析
控制旋转爆震发动机的工作模态切换,难点在于爆震波传播与模态演化处在两个相差很大的时间尺度上,智能体在静止参考系里看到的目标一直在快速变化。 此前把深度强化学习直接用于这类非线性动力学时,多时间尺度特性使直接应用具有挑战性;发动机还可能进入振荡或混沌传播模态,妨碍实际运行。 在一维降阶旋转爆震发动机模型上,控制器通过调节空间分段喷注压力来诱导不同锁模状态之间的快速切换,覆盖多种作动周期、初始状态和目标模态。
做法是把强化学习问题放到一个跟随爆震波图形的运动参考系中重新表述,让波结构对智能体看起来近似准稳态。 这一改写把快速爆震传播与较慢的工作模态动力学分离开,也就是尺度分离,而不是让智能体在静止参考系里同时应对两者。 在多种作动周期、初始状态和目标模态下,运动参考系中训练的控制器比静止参考系中训练的控制器学习更可靠,并在更宽的作动周期范围内保持有效。
启示与展望
结果来自一维降阶旋转爆震发动机模型,控制手段是空间分段喷注压力,任务是在不同锁模状态之间快速切换。控制器在多种作动周期、初始状态和目标模态下接受评估,运动参考系训练相对静止参考系训练的优势也在这个范围内成立。
验证限于一维降阶模型,结论是否适用于更高维或实验装置尚未给出。运动参考系表述与尺度分离被表述为对相关多尺度流动控制问题可能有用的思路,而非已经确立的通用结论。
