跳到主要内容
返回时间线
arXiv来源发表:

训练好的物理模型不必重训:对预训练预测器做群平均,在非紧致对称群上也能强制对称

核心概要

对已训练好的物理代理模型,可以在测试时按对称群对输入变换、把输出变换回来再平均,从而在不改结构、不重训的前提下强制对称。紧致群上这一做法有已知的风险不增保证,并在 The Well 的多个代理模型上降低了误差;对单位缩放群和洛伦兹群这类非紧致群,归一化平均不再成立,Weyl 技巧与框架平均只在分布外或低数据情形带来明显收益,而直接用不变特征训练的模型与之相当或更好。

Source-provided article image: Enforcing Symmetries on Pre-trained ML Models for Physics
arXiv

深度剖析

对已经训练好的物理代理模型,只要在测试时把同一输入按对称群变换、把预测结果变换回原坐标再平均,就能得到一个严格满足该对称性的预测器,而模型结构和权重都不需要改动。 此前的对称性做法多在训练前把约束写进网络结构,需要表示论或不变理论的构造,且不一定兼容当前主流架构;后验平均则把已训练模型当作任意函数处理。 在 The Well 发布的预训练代理模型上,对 active_matter、gray_scott、rayleigh_benard 等数据集,群平均后的预测误差低于原始基线,且只用每个时间步一个随机群元素近似连续群时也优于基线。

具体做法是把训练好的模型看成任意函数,在群轨道上求平均:对输入施加群元素、对输出施加逆变换,再对结果取平均。 对紧致群,这一平均就是关于归一化 Haar 测度的 Reynolds 算子,它等于到等变函数子空间的正交投影,因此在数据分布不变、目标等变的平方损失下不会增大期望风险。 连续群用蒙特卡洛采样近似,实验显示即使采样数很小也能带来改进;但 shear_flow 数据集因初始条件破坏对称性而没有改进,说明改进依赖变换确实是整个学习问题的对称性。

非紧致群没有可归一化的 Haar 测度,群平均无法照搬,替代方案是 Weyl 酉技巧、依赖数据的正交投影和框架平均三种构造。 Weyl 技巧把预测器与群复化,在紧致实形式上平均后再限制回实切片;框架平均把每个输入映射到轨道代表元的有限集合上求平均;两者都精确强制对称,但都不继承紧致群的风险保证。 在单位缩放群上,Weyl 投影在测试单位系未见时把回归 NRMSE 从基线水平降到更低、分类 KL 也下降,但在固定单位下反而增大了风险;框架平均避免了单位变换下的灾难性失败,却在固定单位训练的回归上明显降低精度。

启示与展望

演示范围限于 The Well 的二维笛卡尔网格代理模型、合成的单位缩放回归与分类任务、驱动协变双势阱的混沌动力学,以及 Pythia8 夸克-胶子喷注标记;喷注数据因束轴固定只具有部分洛伦兹对称,相关平均应视为选定变换窗口下的检验而非完整洛伦兹投影。

非紧致情形下 Weyl 投影与框架平均并不稳定优于基线,只在分布外或低数据时收益明显;数据依赖投影在训练集很小时最不稳定;能直接使用对称特征重训时,这些后验投影与之相当或更差。