网格预训练模型直接搬到非结构网格:换掉最外层卷积,圆柱绕流零样本误差低于多数已训练基线
核心概要
一种与卷积一致的网格原生分词层,让在规则网格上预训练的物理基础模型无需重训即可部署到非结构网格,零样本即可给出可用精度,微调几个轮次后超过现有网格基线。
深度剖析
物理基础模型的分词层现在可以作用在非结构网格上,而不必改用图神经网络。 此前这类模型依赖规则网格上的卷积编码器,非结构网格数据只能交给图神经网络处理,两者编码方式不同,预训练权重无法互通。 在 The Well 的湍流辐射层、剪切流和活性物质三个数据集上,把网格预训练模型的权重直接装到网格原生卷积编码器上,零样本迁移在下一时刻和十步滚动两种指标上都优于所有从头训练的网格基线。
做法是把卷积核从离散网格点推广成连续核,再按几何窗口在网格节点上聚合信息。 网格原生卷积用样条把离散卷积核插值成连续核,窗口位置和核间距由物理坐标决定,而不是由图的跳数决定。 在规则网格点上,该层与经典卷积层逐点相等,因此预训练卷积权重可以按名字直接加载;在非结构网格上则用占用度归一化补偿采样密度不均。
同一层还能接到大规模多物理场基础模型上,处理它预训练语料里没有的流动构型。 圆柱绕流数据不在该基础模型的预训练语料中,模型对该流动构型没有先验知识。 在 MeshGraphNets 圆柱绕流基准上,替换最外层卷积后的模型零样本误差低于除 Transolver++ 外的所有已训练基线,微调后下一时刻误差最低;各配置使用单张 GH200 上相同的 7.5 小时算力预算。
启示与展望
这套方法面向使用非结构网格的连续介质仿真,读者是训练物理代理模型的研究人员和工程师。演示范围包括 The Well 的三个二维数据集和 MeshGraphNets 圆柱绕流基准,其中圆柱绕流网格被均匀加密三次以匹配预训练分辨率,评分仍在原始网格节点上进行。原文提出后续可引入几何求积权重以应对采样密度变化,并让改造后的代理模型为隐式时间推进提供初值。
原文指出,网格原生卷积改造主要提升样本效率,即加快微调收敛,而不是在充分训练后带来更高的最终精度,因此收益在训练数据或算力受限时最明显。跨物理域的对照显示,GINO 从单一源预训练出发的零样本误差更低,混合源预训练才明显改善该方法的初始化,且其预训练相对自身从头训练的增益有限,这一结果不宜外推到任意跨物理初始化或预测任务。
