Latent-Foresight 端到端联合学习潜在分词器与流式动力学模型,在多类未来场景理解任务上稳定优于两阶段基线
该工作提出 Latent-Foresight,一个端到端框架,联合学习潜在分词器与基于流的生成式动力学模型,显式塑造表征以支持时间可预测性,并通过若干防止潜在坍缩、对齐重建与生成目标的设计选择实现稳定联合优化;实验显示其学到的潜在表征在时间上更连贯,在多个未来场景理解任务与预测时域上持续优于两阶段基线,同时省去独立训练阶段,包括高分辨率适配阶段。
该工作提出 Latent-Foresight,一个端到端框架,联合学习潜在分词器与基于流的生成式动力学模型,显式塑造表征以支持时间可预测性,并通过若干防止潜在坍缩、对齐重建与生成目标的设计选择实现稳定联合优化;实验显示其学到的潜在表征在时间上更连贯,在多个未来场景理解任务与预测时域上持续优于两阶段基线,同时省去独立训练阶段,包括高分辨率适配阶段。
已读完全部报道