ATLAS 在 LeWM 中同时保留关系几何与校准潜变量分布,在 PushT、TwoRoom 与 OGBench-Cube 上提升目标达成成功率,TwoRoom 高新颖度回合增益最大
核心概要
作者提出 ATLAS 训练目标,将编码器均值池化 patch 特征的归一化成对结构迁移到规划潜变量,并用基于一维 Wasserstein-2 传输的 WEMReg 校准其边缘分布,在 LeWM 上实例化后在 PushT、TwoRoom 与 OGBench-Cube 的低与高新颖度子集上均提升平均目标达成成功率,其中 TwoRoom 高新颖度回合增益最大,同时诊断显示规划潜变量中与新颖度相关的结构更强、边缘校准更好、多步预测误差更低。
深度剖析
作者发现潜世界模型可能在编码器中保留有用的分布外信息,但在规划器实际使用的潜变量中丢失该信号,从而暴露了防坍缩正则化与规划相关几何保持之间的差距。 此前工作如 SIGReg 通过约束潜变量边缘分布来防止表示坍缩,但并未规定哪些状态应保持接近或远离;本文用基于训练特征库的 k 近邻新颖度分数作为诊断,显示 LeWM 中该信号从 patch 表示到规划潜变量显著减弱。 在 PushT 上,失败预测 AUROC 从编码器表示中的 0.76 降至规划潜变量中的 0.44,低于随机水平;TwoRoom 与 OGBench-Cube 上规划潜变量分别为 0.55 与 0.49,均低于 patch 锚点与真实状态 oracle。
作者提出 ATLAS,一种同时保持规划相关关系几何并校准全局潜变量分布的训练目标。 ATLAS 将编码器均值池化 patch 特征的归一化成对距离迁移到规划潜变量,并用 WEMReg 通过一维 Wasserstein-2 传输匹配随机投影边缘到标准高斯;与 LeWM 的 SIGReg 有限频率匹配相比,WEMReg 惩罚每个投影分位数残差。 理论分析给出定理 1 说明有限频率匹配存在非高斯模糊性,命题 2 说明关系保持与边缘校准施加非冗余约束;在 LeWM 上实例化,使用相同架构、数据与规划器,仅替换边缘正则化并加入关系保持。
作者将表示失真与预测误差联系到有限候选规划稳定性,并给出候选选择在锚点几何下的后悔界。 定理 3 将预测损失、关系目标与 WEMReg 分别对应到终端预测误差、几何失真与潜变量尺度失配,并给出 k 近邻新颖度分数在规划与锚点表示之间的差异界。 证明在附录 C.1 给出,假设包括有限候选集与有界潜变量尺度失配;该分析针对评估池与有限候选集,小训练损失本身不控制未见状态上的误差。
在 PushT、TwoRoom 与 OGBench-Cube 上,ATLAS 在低与高新颖度评估子集上均提升平均目标达成成功率,其中 TwoRoom 高新颖度回合增益最大。 与最接近的受控比较 LeWM 相比,ATLAS 使用相同 JEPA 风格编码器-预测器设置,仅改变训练目标;消融显示 WEMReg 与 OOD-recovery 约束不同表示属性,但下游收益不一定可加。 TwoRoom 上 ATLAS 从 LeWM 的 ID 成功率提升到,OOD 从提升到;PushT 与 OGBench-Cube 增益较小;每个任务每个评估种子评估回合,报告五个种子的均值与标准差。
启示与展望
ATLAS 作为训练目标可直接用于其他 JEPA 风格潜世界模型,适用于离线数据训练、测试时使用有限候选 CEM 规划的目标条件任务;其理论保证针对评估池与有限候选集,方法在 LeWM 上实例化,评估覆盖 PushT、TwoRoom 与 OGBench-Cube 三个任务,使用相同架构、数据与规划器,因此最直接的适用场景是类似设置下的潜世界模型规划。
理论保证针对评估池与有限候选集,小训练损失本身不控制未见状态上的误差;关系保持与边缘校准的收益在不同任务上并不一致,消融显示二者下游收益不一定可加;DINO-WM 在 TwoRoom 上表现更好但使用外部预训练编码器,并非受控目标级比较;PCA 可视化仅为二维投影,作为定性支持而非直接度量;若读者仅阅读摘要,可能无法看到消融与诊断的细节,需查阅附录以了解完整设置与数值。
