JEPA世界模型会记住背景而忘掉动作：加入运动引导对比正则后，随机背景下规划成功率从52%升到78%
核心概要
JEPA式世界模型只用分布正则约束隐空间时，编码器会把每一回合固定的背景当成主要信息，反而压掉机械臂与物体交互带来的状态变化，这种失效被称为静态坍缩。新方法在同一回合内把预测的隐状态变化与候选观测的变化做对比，并用光流相似度给出软目标，让运动相近的候选获得相近的监督。在OGBench-Cube随机背景设置上，规划成功率相对LeWM从52%升到78%，在LIBERO-Object上从14%升到54%，其余四个视觉控制基准保持相当水平。
深度剖析
JEPA式世界模型在视觉背景复杂时会把同一回合内不变的背景外观编码进隐状态，导致机械臂和物体的状态变化在表示中被压缩，下游规划随之变差。 此前的做法依靠SIGReg这类分布正则让嵌入接近各向同性高斯分布，只约束统计形态，不指定应当保留哪些信息；在原始Cube上LeWM成功率为74%，换成只替换远处背景像素的Cube-RB后降到52%。 Cube与Cube-RB的机器人、方块、动作和动力学完全相同，只有每回合固定的背景图不同，两者用相同超参数训练，因此成功率落差可归因于背景变化；t-SNE上Cube-RB的嵌入按背景身份聚成紧凑的回合簇。
训练时把预测的下一步隐状态变化与同一回合内其他观测的隐状态变化放在一起比较，使背景身份不再能区分动作结果，模型被迫去编码机器人和被操作物体的变化。 对比目标用光流相似度生成软标签，而不是把所有候选一律当作负样本，也不是用像素差衡量相似度；光流由预训练的SEA-RAFT离线计算，训练时只读取缓存的标量距离。 在Cube-RB和LIBERO-Object上，加入普通InfoNCE把成功率从52%和14%提到56%和34%，换成运动引导目标后进一步到78%和54%；去掉SIGReg则回落到58%和14%。
启示与展望
演示范围是OGBench的Cube与Cube-RB、LIBERO-Object，以及Push-T、2-Rooms、Reacher三个视觉较简单的设置，全部在固定的基于采样的模型预测控制流程下评估；方法假设背景静止，并依赖足够动作覆盖的离线数据。作者提出的下一步是改善跨动作与跨外观的迁移、在动态场景中分离任务相关运动，并把规划扩展到更长时域。
作者说明方法像LeWM一样依赖足够的动作覆盖，对动作表示和视觉外观的偏移仍然敏感，包括LIBERO渲染引擎的变化；背景运动可能扭曲用于监督的光流相似度。超参数扫描显示候选数量增加并不单调提升成功率，对比损失权重过大时成功率降到38%。