冻结世界模型不再逐帧反传:WARP-JEPA把规划换成候选提议,长程任务推理快9.6–18.8倍
核心概要
分层联合嵌入预测架构(H-JEPA)此前靠测试时对动作做梯度下降来规划,迭代求解器在长程任务上占去单回合运行时间的96.6%–97.7%。WARP-JEPA在保持世界模型冻结的前提下,用学习到的多候选轨迹提议器替代在线优化,并在生成循环内调用冻结预测器完成候选打分。在30个冻结的2、3、4层模型、四个基准上,长程任务单回合推理加速9.6–18.8倍(Cube上为2.9–3.0倍),任务成功率最高提升33.3个百分点。
深度剖析
分层世界模型的规划开销从测试时的反复梯度迭代,转移到一次性的候选提议与打分上,世界模型本身保持冻结。 此前的H-JEPA在每个层级都用AdamW对采样出的动作序列做在线优化,嵌套求解循环要执行成千上万次串行前向与反向传播。 对2、3、4层H-JEPA在四个基准上的计时显示,迭代求解器在长程任务上占单回合运行时间的96.6%–97.7%,Cube这类短程任务上为79.9%。
每个层级训练一个提议器,直接输出多条候选轨迹,再由冻结世界模型一次性打分选出代价最低的一条,推理时不做梯度迭代。 提议器用模型预测的 rollout 代价与 best-of-N 行为克隆的联合目标训练,前者指向目标,后者把候选拉回示范动作附近。 在Push-T L2上,去掉行为正则的变体动作偏离示范流形,成功率42.7%;带正则的MM达到48.0%,而在线梯度下降为42.0%。
顶层与下层采用不同结构:下层用并行残差MLP一次预测两步桥接,顶层用一层因果Transformer在生成每个宏动作时把冻结预测器算出的想象状态喂回查询。 顶层需要组合多达8–12个相互依赖的宏动作,若像MLP那样仅凭起止状态并行预测,后续动作看不到前面动作诱导的中间状态。 在长顶层时域的Push-T L2与FourRoom L2上,闭环的TM比一次性的MM分别高8.8和8.0个百分点;而在顶层只有2步的Cube上,MM反而高6.7个百分点。
启示与展望
评测限定在Push-T、FourRoom、Visual AntMaze与OGBench Cube四个基准的30个冻结H-JEPA模型上,深度为2、3、4层,成功率为三个模型种子的均值,计时在单块H200上按顺序执行。Push-T L4因H-JEPA的40步顶层步长与接触动力学混叠,所有规划器都失败,该设置不构成方法有效的证据。
顶层与下层的结构差异在长顶层时域上带来显著增益,但在顶层只有2步的Cube上MM反而高于TM,差距为6.7个百分点且未达显著;回合末尾的无条件旁路求解仍保留10次梯度迭代,占下层求解的9%–33%,Cube的一层求解中占75%;AntMaze每回合约3秒花在求解器之外的编码与仿真上,限制了进一步加速。
