用强化学习在线学习Leith系数，使粗分辨率二维湍流模拟重现极端涡量事件
核心概要
该工作把科学多智能体强化学习（SMARL）用于地球物理湍流的亚网格闭合建模：以从少量高保真样本估计的拟涡能谱为奖励，在线学习Leith模型系数，使分辨率比DNS粗160至163840倍的LES在长达训练数据约2000倍的模拟中稳定运行，并复现DNS的动能谱与涡量概率密度函数，包括代表极端事件的尾部。
Figure 1: Training of SMARL for SGS closures: (1) reference data consists of 5 samples of a short DNS (Eqs. (2a) and (2b)); (2) online training of agents. The state-action map has input state s′(t) (spectrum of enstrophy ˆZ up to LES cutoffwavenumber kc) and domain-averaged output action cl(t) (coefficient in the closure, Eq. (1)) that maximizes the reward r(t). During testing, the policy is coupled to the low-resolution numerical solver to produce a long LES that is 2000× longer than the DNS training set and 1000× the training horizon. Performance for extreme events is evaluated in terms of the vorticity PDF P(ω), against DNS and dynamic physics-based SGS models.
· 第 4 页深度剖析
提出并验证了SMARL在线学习闭合的框架：智能体以LES的拟涡能谱为全局状态，输出Leith系数，奖励为DNS与LES对数拟涡能谱之差的倒数，从而在不需要可微求解器的条件下学习闭合。 此前SMARL已用于三维均匀与壁面湍流，但需要已知不变量或壁面律来定义状态与动作；本文首次将其扩展到地球物理湍流原型，并改用拟涡能谱作为状态与奖励。 在五个二维湍流算例上训练与测试，训练仅用5个短DNS快照，LES分辨率比DNS粗160至163840倍，测试模拟长度约为训练数据的2000倍、训练时域的1000倍。
RL-Leith闭合在匹配DNS涡量概率密度函数方面优于动态Smagorinsky与动态Leith，除算例4外其PDF在不确定性范围内与DNS一致，包括代表极端事件的尾部。 传统动态模型因稳定性所需的系数正截断而产生过度扩散，导致极端事件被低估；RL-Leith学到的系数分布更宽且包含负值，说明同时刻画了正向扩散与反向散射。 以DNS的25至75分位数作为不确定性带进行对比，并在图3中显示RL-Leith对跨尺度拟涡能输运的预测优于DSmag与DLeith。
通过Sobol指数分析状态-动作映射，发现闭合系数对拟涡能谱低波数（大尺度）最敏感，其次是对截断波数附近的高波数区域敏感，中间波数影响不显著。 这为数据驱动闭合提供了可解释性证据，把大尺度含能与跨尺度输运区分别对应到闭合系数的两个主要敏感区。 给出第一阶与总Sobol指数及95%置信区间，并报告低波数区动能占比为算例1的92.6%、算例2的94.5%、算例3的92.3%、算例4的93.4%。
在算例1（Re=20000）上训练的RL-Leith闭合可直接用于算例5（Re=300000，雷诺数高15倍），无需新数据或再训练，在动能谱与涡量PDF（含尾部）上优于DSmag与DLeith。 许多深度学习亚网格模型跨流态泛化不佳、常需迁移学习；本文展示了在更高雷诺数下的直接泛化，并归因于状态为拟涡能谱、两个算例在截断波数处的谱相似。 算例5的DNS需要比算例1高16倍的空间分辨率；泛化测试在LES截断波数kc=16下进行，并与DNS的动能谱和PDF对比。
启示与展望
该结果面向以二维湍流为原型的天气与海洋建模场景：在周期性方域、正弦强迫、部分算例含科里奥利力β的设定下，SMARL学到的Leith系数使LES在比DNS粗160至163840倍的分辨率上稳定运行并复现统计量。它适用于希望在不改造为可微求解器的前提下、用少量高保真样本获得闭合的研究者与建模者，也为后续向全球气候模式与地球系统模式扩展提供了起点。
算例4中RL-Leith的PDF未能像其他算例那样在不确定性范围内匹配DNS，提示在部分流态下尾部刻画仍有差距。所有结论来自二维湍流原型，向三维地球物理湍流与全球气候模式的推广尚未在本文中检验。此外，本文为快速解析版本，表格与部分附录内容未完整呈现，因此算例的具体参数设置与部分补充分析无法在此逐项核对。