跳到主要内容
检索

# Latent-Foresight模型

2 篇关联报道

订阅更新
  1. arXiv

    Latent-Foresight 端到端联合学习潜在分词器与流式动力学模型,在多类未来场景理解任务上稳定优于两阶段基线

    该工作提出 Latent-Foresight,一个端到端框架,联合学习潜在分词器与基于流的生成式动力学模型,显式塑造表征以支持时间可预测性,并通过若干防止潜在坍缩、对齐重建与生成目标的设计选择实现稳定联合优化;实验显示其学到的潜在表征在时间上更连贯,在多个未来场景理解任务与预测时域上持续优于两阶段基线,同时省去独立训练阶段,包括高分辨率适配阶段。

  2. arXiv

    Latent-Foresight 把分词器与流匹配预测器联合训练,在 Cityscapes 与 nuScenes 的未来场景理解上稳定超过两阶段基线

    该工作提出 Latent-Foresight,一个端到端框架,联合学习一个 VFM 特征分词器与一个基于流匹配的生成式动力学模型,通过停止梯度、潜变量归一化、去噪潜变量重建损失与噪声调度等设计避免潜变量坍缩,在 Cityscapes、nuScenes 与 Kubric 的多项未来场景理解任务和多个预测时域上一致优于两阶段基线,并省去分离的训练阶段(包括高分辨率适配阶段)。

已读完全部报道