Latent-Foresight 端到端联合学习潜在分词器与流式动力学模型，在多类未来场景理解任务上稳定优于两阶段基线
该工作提出 Latent-Foresight，一个端到端框架，联合学习潜在分词器与基于流的生成式动力学模型，显式塑造表征以支持时间可预测性，并通过若干防止潜在坍缩、对齐重建与生成目标的设计选择实现稳定联合优化；实验显示其学到的潜在表征在时间上更连贯，在多个未来场景理解任务与预测时域上持续优于两阶段基线，同时省去独立训练阶段，包括高分辨率适配阶段。
Latent-Foresight 把分词器与流匹配预测器联合训练，在 Cityscapes 与 nuScenes 的未来场景理解上稳定超过两阶段基线
该工作提出 Latent-Foresight，一个端到端框架，联合学习一个 VFM 特征分词器与一个基于流匹配的生成式动力学模型，通过停止梯度、潜变量归一化、去噪潜变量重建损失与噪声调度等设计避免潜变量坍缩，在 Cityscapes、nuScenes 与 Kubric 的多项未来场景理解任务和多个预测时域上一致优于两阶段基线，并省去分离的训练阶段（包括高分辨率适配阶段）。
已读完全部报道