冻结世界模型不必重训：Library of Hands 只校准“手”，手变化并回归时成功率从28.6%升到62.3%
核心概要
相机移动或控制器更换后，同一条指令会让机器人朝不同方向、以不同幅度运动，而冻结的世界模型仍按训练时的指令约定规划，于是规划全落在错误的动作坐标系里。Library of Hands（LoH）不训练、不改动世界模型，只用冻结的预测器从相邻两帧图像反推实际执行的动作，据此估计“指令到实际动作”的映射，并把识别过的映射存入库中以便复用。在闭环测试中，当“手”变化并反复出现时，LoH 把冻结规划器的成功率从 28.6% 提高到 62.3%，而在手不变时只损失 0.6 个百分点。
深度剖析
LoH 让冻结的世界模型在动作约定改变后仍能规划，做法是只修正指令到实际动作的映射，而不改动模型本身。 在 LeWM 世界模型上，冻结规划器使用原始约定时成功率为 77.5%，当指令被旋转 90° 后只剩 7.8%。 在闭环测试中，当手变化并反复出现时，LoH 把总体成功率从 28.6% 提高到 62.3%；在 12 个同时运行真实手对照的种子上，LoH 弥合了与真实手之间差距的 69.2%。
LoH 把冻结的预测器当作传感器：它寻找最能解释相邻两帧图像之间变化的动作，再把这个读数与指令比较，从而读出当前的手。 每个读数都按预测状态对动作的雅可比矩阵给出不确定性，雅可比越平坦，读数权重越低；随后在恒等、旋转加缩放、镜像、线性、仿射五类映射与六个延迟组成的 30 个模型中，用精确贝叶斯证据选出映射。 在 PushT、Reacher、Two-Room 三个仿真任务上，同一套方法不改代码即可用于 LeWM、DINO-WM、JEPA-WM 三个世界模型；在 RoboCasa 仿真厨房中，三个用真实机器人数据预训练的模型里有两个通过预设判据。
启示与展望
演示范围是闭环仿真：PushT、Reacher、Two-Room 三个任务上的 LeWM、DINO-WM、JEPA-WM，以及 RoboCasa 仿真厨房中三个用真实机器人数据预训练的模型；手的变化是注入的，真实机器人尚未测试。
当手在回合中途切换时，LoH 的平均增益为 6.6 个百分点，低于预设的 10 个百分点门槛；当世界本身改变而手不变时，LoH 损失 5.0 个百分点，未达到预设门槛。在 RoboCasa 中，JEPA-WM 上 LoH 只增益 7.8 个百分点，且在手不变时损失 6.2 个百分点，因此三个真实数据预训练模型中只有两个通过判据。