冻结的模仿策略不再重训：A2WM 用动作仿射世界模型把平均成功率从 27.18% 提到 59.51%
核心概要
模仿策略执行中的小误差会累积导致失败，而此前的修正要么依赖在线强化学习，要么需要昂贵的在线规划。A2WM 从冻结策略的动作扰动轨迹中离线学习局部动作响应，把任务相关几何预测为名义轨迹加对修正的线性响应，从而把在线修正化为一次模型评估加一次凸二次规划求解。在四个仿真操作任务上，它取得所评估基线中最高的平均成功率，从 Diffusion Policy 的 27.18% 升至 59.51%，每控制步平均修正开销 3.8 毫秒，不含基础策略采样。
深度剖析
修正不再需要更新策略权重，冻结的模仿策略也能在闭环中被显著改善。 未修正的 Diffusion Policy 在四个仿真操作任务上的平均成功率为 27.18%，其中 RoundTable 仅 6.12%、Lamp 仅 5.08%。 A2WM 把平均成功率提高到 59.51%，在每个任务上都取得所观察到的最高成功率，PushT 上与 GPC-OPT 同为 78.78%；RoundTable 和 Lamp 分别为 42.97% 和 41.02%，而最强的竞争基线在这两项上为 15.23% 和 25.91%。
在线修正之所以便宜，是因为动作响应被直接学出来，而不是在部署时反复求导或搜索候选动作。 GPC-RANK 需要评估 100 个动作候选，GPC-OPT 需要 24 次投影 Adam 更新，GPC-QP 则要花 36.83 毫秒构建预测与雅可比。 A2WM 每步只需一次模型评估和一次二次规划求解，平均修正延迟 3.80 毫秒，比 GPC-RANK、GPC-QP、GPC-OPT 分别快 6.78、10.39、105.56 倍；其模型预测与响应构建耗时 1.49 毫秒，二次规划处理 0.94 毫秒，与 GPC-QP 的 1.11 毫秒相近。
模型把任务相关几何直接放进预测空间，使预测的任务误差对动作修正呈仿射关系。 装配等任务的目标依赖两个零件之间的相对位姿，这是各自位姿的非线性函数，因此原始状态预测对修正仿射并不能让任务代价变成二次型。 模型在保留实测状态的同时加入几何量，并附加学习到的非线性特征，以交互历史和策略提案为条件，一次评估直接输出整个规划时域的名义轨迹与响应矩阵；训练数据是冻结策略的动作扰动轨迹，每个任务收集 256 至 512 个回合，过滤后保留 250、248、256 和 466 个回合。
启示与展望
演示范围限于四个仿真操作任务：Isaac Gym 中的 FurnitureBench 三个装配任务与平面 PushT，使用实测的机器人与物体状态、人工指定的几何目标，以及每个任务 256 至 512 个回合的固定扰动轨迹数据集。作者提出后续将在状态估计与模型不确定性下研究修正，并在真实机器人上评估。
作者指出当前方法假设可获得实测的机器人与物体状态，并使用人工指定的几何目标，局部预测还依赖所收集轨迹的覆盖范围。动作扰动探针显示，A2WM 在修正边界内能刻画近似线性的响应，但超出边界后失效；在 PushT 的第二个例子中，MLP 更好地匹配了局部曲率。预测精度对照是跨任务平均结果，多步 MLP 在 Lamp 和 PushT 上更准确，且模型容量并不匹配。