跳到主要内容
返回时间线
arXiv来源发表:

函数表示先学一次再冻结:Daedalus 在 28 个 PDE 任务中 23 个误差低于 GAOT,训练平均快 2.1 倍

核心概要

Daedalus 把函数表示的学习从算子学习中拆出来:一个函数自编码器只在实时合成的解析函数上预训练,不接触求解器与标签,得到的潜空间被冻结后跨任务复用。在涵盖流体、固体力学、声学以及 Helmholtz 与 Poisson 方程的 28 个基准问题上,冻结表示上的算子在其中 23 个问题上相对误差低于端到端框架 GAOT,平均每个问题训练快 2.1 倍;这一比较不含一次性的骨干预训练成本。

Source-provided article image: Self-Supervised Learning of Universal Latent Spaces for Operator Learning
arXiv

深度剖析

函数表示可以像自然语言处理和计算机视觉中的预训练表示那样,先独立学一次,再原样用于多个偏微分方程任务,而不必为每个任务重建降维空间。 此前的神经算子把表示映射与算子一起针对单个任务的标注数据拟合,降维空间是某一个监督问题的副产品,换方程、几何、离散方式或模态就要重建。 同一个冻结骨干重建了训练中从未出现的多种偏微分方程场和自然照片,包括可压缩流激波、超弹性应力场与分层介质声波,且这些输入在物理类型和几何上都与训练分布不同。

把表示映射冻结后,数据集只需编码一次,算子完全在缓存的嵌入上训练,单步成本不再随数据分辨率增长。 端到端框架每一步都要对完整点云做编码和解码,因此单步开销随点数上升,稠密数据必须降采样才能放进显存。 在每函数 4 千到 6700 万点的范围内,潜空间训练保持同一速率和同一显存占用;在 26.2 万点、4096 个分区的稠密问题上,单张 24 GB 消费级 GPU 可训练 1.01 亿参数的处理器,而 GAOT 最多容纳约 100 万参数。

每个分区在编码前被搬进统一的局部坐标系,位置、尺寸、幅值和可选的方向被移出学习到的嵌入,只留下归一化后的形态。 此前的非线性表示映射没有显式基,潜空间的可解释性随固定基一起丢失,且平移、缩放等变换只能靠网络近似学习。 在非结构点云上,编码-解码映射对平移、伸缩和幅值精确等变,等变误差远低于重建误差;对旋转则在完整一周内保持重建误差不变,等变误差低于重建误差。

潜空间本身可以被单独考察:整个超球面都解码为有效场,球面上的距离与解码场之间的距离近似一一对应。 既有神经算子的潜空间几何由单一算子塑造并与之纠缠,无法脱离该任务研究。 在受控余弦相似度下构造的嵌入对中,两种距离的中位数在整个范围内偏离斜率为一的直线不超过约 5%,因此定义在嵌入上的目标能反映定义在场上的目标。

启示与展望

演示范围是二维骨干:分析用高维骨干、算子用低维骨干,均在单位圆盘上的多模各向异性正弦函数上预训练;算子基准覆盖 28 个问题,其中 17 个时间相关、11 个稳态,包含固定网格与逐样本变化的点云。适合关注偏微分方程代理模型训练成本与显存占用的研究人员和工程师阅读。

表示受训练分布固定的频带限制:分区有效空间频率落在该频带之外时无法准确表示,而分区能切多细又受采样密度约束,重叠分区会缓解这一约束但抬高每个分区的有效频率。旋转等变在已训练骨干中可选而未启用;在精度基准的四个问题上 GAOT 的误差比 Daedalus 低 5% 以上。