Latent-Foresight 把分词器与流匹配预测器联合训练，在 Cityscapes 与 nuScenes 的未来场景理解上稳定超过两阶段基线

作者提出 Latent-Foresight，把 VFM 特征分词器与流匹配预测器放在同一个端到端目标下联合优化，使潜空间直接由生成式时序预测的需求塑造，而不是先压缩再冻结。 此前 VFM 世界模型走两阶段路线：先用 PCA 或独立训练的自编码器压缩特征，再在冻结潜空间上训练预测器；作者称这是首个在 VFM 世界建模语境下让分词器与生成式潜动力学模型端到端训练的做法。 论文给出完整方法描述与消融：默认用 DINOv2-Reg ViT-B/14 中间层拼接特征、瓶颈维度 256、12 层预测器，并在 Cityscapes、nuScenes、Kubric 上按既有协议评测。

作者识别出朴素联合优化会导致潜表示坍缩为平凡常数，并给出使训练稳定的关键设计：对速度目标与噪声输入停止梯度、用无仿射参数的 BatchNorm 归一化潜变量、对去噪潜变量加辅助重建损失、以及选择噪声水平分布。 这些设计把“表示学习与生成式动力学耦合”从不可行变为可行，并解释了各组件的作用：去掉潜变量归一化或去掉目标潜变量上的停止梯度都会导致训练坍缩，去掉噪声潜变量上的停止梯度则保持稳定但降低预测性能。 训练配方消融表逐项给出重建余弦相似度与短/中期分割指标，坍缩情形被明确标注为 Training Collapse；噪声分布消融显示把 logit-normal 移向更高噪声水平优于均匀采样与 JiT 默认设置。

端到端训练在多个数据集与多个预测时域上一致优于两阶段基线，且增益在更长时域与可移动物体类别上更明显。 与独立训练自编码器的两阶段版本相比，联合训练在保持重建保真度的同时提升预测；在 Cityscapes 上 Latent-Foresight 中期分割 ALL 61.7、MO 59.9，高于 DINO-Foresight 的 59.8 与 57.6，也高于 DeltaTok 的 60.0；在 nuScenes 上增益延伸到 27 帧、2.25 秒的长时程自回归预测。 对比覆盖 Cityscapes、nuScenes、Kubric 三个数据集，包含 Oracle 上界、Copy Last、VISTA、DINO-Foresight、DeltaTok、VFMF 与两阶段自编码器基线，并报告零样本迁移结果。

端到端形式简化了训练流程，包括高分辨率适配，并展现出可扩展性。 两阶段流程需要分别微调自编码器与预测器，而该方法只需单一训练阶段；在高分辨率下，两阶段自编码器中期分割 ALL 60.18、MO 58.05，端到端为 61.74 与 59.92；用更多数据与更长训练得到的 Latent-Foresight+ 在 Cityscapes 上进一步提升到中期 ALL 63.3、MO 61.9。 高分辨率对比在 Cityscapes 与 nuScenes 上给出，Latent-Foresight+ 在 Cityscapes、nuScenes、CoVLA 合并数据上训练，Kubric 上单次生成即超过 VFMF 的 32 次生成设置。

该结果面向以 VFM 特征为预测空间的潜世界模型，适用于自动驾驶与机器人等需要预判场景演化的场景，评测设定为 Cityscapes、nuScenes 与合成 Kubric，并包含从 Cityscapes 到 nuScenes 的零样本迁移。它使单一训练阶段即可完成分词器与预测器的联合优化，也让高分辨率适配不再需要分别微调两个组件；作者指出自编码器结构保持轻量，未来可探索更强的分词器架构与减少空间 token 数的策略，并可把当前逐帧预测扩展到单次前向生成多帧。

作者在附录中说明自编码器架构仍较轻量，减少空间 token 数与更强分词器留待后续；当前框架聚焦下一帧预测，多帧联合建模尚未展开。方法建立在预训练 VFM 之上，作者提示 VFM 中可能存在的偏差会传播到预测的语义表示，部署前需评估。消融显示瓶颈维度与噪声分布存在重建保真度与时序可预测性之间的权衡，最佳设置依赖具体任务与数据。读者若只看到摘要，可能无法判断各设计组件各自的贡献，需要结合训练配方消融表来理解。