流体世界模型能读出物理量却推不动:预注册测试显示,可解码、显著与可操控是三件事
核心概要
在二维衰减纳维–斯托克斯流上,三项预注册研究把潜空间里常被当作“学到物理”的证据拆成可解码、显著与可操控三种性质。联合嵌入预测架构(JEPA)在三个探针目标上优于同架构未训练网络,却未达到预注册的物理组织标准;渲染场的自编码器让拟能(enstrophy,涡量平方的均值)在无监督慢方向中显著,加入VICReg正则后显著度在每对比较中下降而线性可解码性上升;通过分流信息构造的可调方向在密封数据上于全部8个训练模型中找到响度旋钮,谱形旋钮只在5个新种子中的3个出现,低于预设的4个门槛。
深度剖析
在二维衰减流上,一个被训练来预测流场的联合嵌入预测架构(JEPA,在学到的潜空间而非像素上做预测)并没有按预注册标准把潜空间组织到流体量周围。 此前的常见读法是:线性探针能从潜空间解码出某个量,或潜空间的主方向、慢方向与该量相关,就说明模型学到了物理量;这类读法缺少对照。 JEPA在log拟能、log palinstrophy和log(1+涡数)三个探针目标上高于同架构未训练网络,但必须计入的Okubo–Weiss分数为0.507,低于所需的0.656,因此五项中只有三项计数且不含强制项,判为不支持。
把潜空间里“有什么”和“能推动什么”分开:一个几乎完美读出谱形的监督方向,沿它推动潜空间时渲染场几乎不变。 此前可解码性常被当作模型使用该量的证据,而干预潜空间后的输出变化并未被单独测量。 在21个既有模型的84个候选方向中,没有一个方向每单位潜空间移动能让解码场变化达到0.1个对数单位,最大效应为0.086;监督谱形方向的读出相关为0.97–0.99。
渲染场的普通自编码器会让拟能在最慢的无监督方向中显著,而加入VICReg(方差–不变性–协方差正则)会在每一对比较中降低这种显著度,同时提高线性可解码性。 此前预测动力学被视为这类结构出现的前提,而渲染目标与正则项的作用没有被分开检验。 在密封的1,005条轨迹上,渲染速度的自编码器E1为0.860、渲染涡量的为0.799,均超过未训练对照加0.25的门槛;但涡量自编码器上普通减VICReg的降幅未达预注册的0.20,因此该假设部分成立。
把响度只经一个小调节码送入解码器、并削弱内容通路携带的谱形后,无标签规则能在密封数据上找到响度和谱形两个可调方向。 此前的可调方向要么找不到,要么在强推动下产生网格伪影,无法通过真实性判据。 最终设计在5个新种子中,响度旋钮5个全部有效,谱形旋钮3个有效,低于预设的4个门槛;两个对照模型均未出现谱形旋钮,未训练网络两类旋钮都没有。
启示与展望
全部结果针对周期二维衰减纳维–斯托克斯流、一个模拟器与初始条件分布,以及一个小型卷积编码器;正负结果都未声称可迁移到三维流、其他模拟器或更大模型。整套程序在一个消费级GPU上记录约70小时算力,预注册、偏差、代码与输出均已公开。
研究二存在一个无法在本设计中剥离的混杂:VICReg同时使自编码器的渲染误差恶化约25倍,显著度下降有多少来自潜空间几何、多少来自渲染变差无法区分。研究三的谱形旋钮识别规则是在探索阶段看到结果后选定的,因此只有新种子的确认能检验它;剂量曲线只有一个中间点且跨两种解码器。
