世界模型不再先学表征再配控制器：LeWAM把动作预测并进同一遍训练，接触密集任务成功率从28.6%升到89.7%
核心概要
LeWAM把视觉表征、动作条件潜在动力学和随机策略放进同一次训练，在接触密集任务上把规划成功率从28.6%提到89.7%，长程任务从10.9%提到46.2%，规划速度提高32.3倍。
深度剖析
世界模型和控制器不再分两步训练。此前的JEPA流程先学视觉表征和动作条件动力学，再单独加一个控制策略或在线求解器。 此前JEPA要么用预训练编码器，要么只靠分布正则从零学表征，动作监督与视觉表征学习是分开的。 在十个异构仿真环境上，LeWAM平均成功率93.5%，LeWM(CEM)为50.9%；接触密集的ToolHang为94.7对35.4，Transport为83.3对2.8。
模型用同一个预测器同时预测下一潜在状态和动作。干净动作走动力学分支，加噪动作走流匹配分支，两条分支共享一次掩码自注意力。 流匹配把动作块从高斯噪声沿学习到的速度场积分出来，因此策略本身给出候选动作，而不是从宽高斯先验里盲采样。 规划时先按学到的动作分布采样N条候选，再用冻结动力学对目标代价做梯度下降，取代价最低的一条；四个视觉目标任务上平均52.50次规划每秒，LeWM(CEM)为1.62次。
潜在状态被约束成各向同性高斯，防止表征塌缩。去掉这一约束后，仅学动力学的LeWM在Push-T所有探针上R²为0.00。 只有动作预测约束还不够：Push-T上带SIGReg的规划增益为14.7个百分点，不带时为2.7个百分点。 线性探针显示，联合训练把平均本体感受、动作和逆动力学R²分别提高0.21、0.20、0.19；端到端编码器直接成功率86.7%，冻结DINOv2 CLS为79.0%，冻结patch为75.8%。
启示与展望
报告面向做机器人学习、世界模型和基于模型的规划的研究人员与工程师。方法在十个仿真导航与操作环境上评估，其中四个沿用LeWM的基准，另外六个加入接触密集操作与导航；另有三个仿真任务完成实验和三个物理机器人任务，物理平台为reBot Arm 102遥操作到reBot B601-DM，每个任务30次试验。视觉规划假设能拿到目标图像，任务完成则不提供目标图像。作者提出后续可扩展到更广的交互数据、未见物体与视角、多任务与多本体训练，以及接入高层规划器。
作者列出若干限制：任务数据规模有限，专家演示与非专家交互混合，接触过渡覆盖不足；泛化到未见物体、相机视角和接触状态尚未测试；模型按任务和本体分别训练或适配；LeWAM只提供低层规划与控制；视觉规划模型约17M参数，扩大模型、数据、候选种群和细化步数属于未来工作。作者也说明接触密集3D操作中的规划问题是已知难题，其解法是启发式的，严格验证留作未来工作。