物理场也能在上下文里学:PhysICL 不更新权重,直接在新网格上预测工程仿真场
核心概要
工程设计中每个研究只有几十到几百次仿真,且每次网格各不相同,传统代理模型必须为每个数据集重新训练。PhysICL 只在一个程序化先验上预训练一次,推理时把若干带标签的仿真当作上下文,在一次前向传播中直接在每个查询自身的非结构网格节点上给出场预测及其分位数,权重保持不变。在五个预训练未见过的 PLAID 数据集上,其场误差随上下文增大而下降,并在上下文达到一定规模后低于最近的上下文仿真;在百万节点级的 AhmedML 表面上,峰值显存仍为 4.27 GiB。
深度剖析
同一个预训练检查点无需任何权重更新,就能把若干带标签的仿真当作上下文,直接在每个查询自己的非结构网格节点上预测物理场,并给出分位数。 此前的网格代理模型,从 MMGP 这类降阶模型到图网络和 Transformer 神经算子,都是按数据集逐个拟合,每来一个新的设计研究就要重新训练一次。 在五个预训练中从未见过的 PLAID 数据集上,场误差随上下文规模增大而单调下降,并在上下文达到一定规模后,在全部五个数据集和三次上下文抽样上都低于最近的上下文仿真。
模型把网格切成固定数量的块,先让查询块读取上下文块,再让每个查询节点读取上下文锚点,从而在任意网格上完成预测。 表格基础模型用列和行组织上下文,而仿真的输入是一张带场的网格,网格的大小和连接关系在同一个任务内也会变化。 每个网格被递归惯性二分切成 1024 个块,编码器只读取分层抽样的节点,因此预测的峰值显存几乎不随网格增大:在节点中位数 110 万、约为预训练最大网格二十倍的 AhmedML 表面上为 4.27 GiB,而在 2D_MSHE 的 6000 节点网格上为 4.07 GiB。
预训练数据全部由程序化先验在线生成,不存储任何场,因此训练成本几乎与网格节点数无关。 此前的 PDE 基础模型多在规则网格的已有数据集上预训练,再针对目标任务微调。 这次预训练在 4 块 H200 上运行 34.8 小时,抽取 800 万个回合,约每秒 64 个回合,80 个 CPU 核心生成数据时 GPU 利用率保持在 85% 到 100%。
启示与展望
演示范围限于稳态任务:五个 PLAID 工程仿真数据集、28 个先验内未见几何的任务,以及节点中位数 110 万的 AhmedML 三维表面网格;每个输出场单独解码,标量输出交给其行 token 上的表格回归器。
所有结果来自单次预训练运行,预训练种子带来的波动没有测量;先验中的物理模型是面板法和解析律,并非有限元解,三维中只有机翼和叶片有物理模型;在输出接近低维线性空间的数据集上,逐数据集降阶模型更准确;在 2D_MSHE 上微调后误差下降,但没有同样步数的对照运行,无法把增益与额外训练步数分开。
