跳到主要内容
检索

# 潜在世界模型

7 篇关联报道

订阅更新
  1. arXiv

    世界模型测试时适应不再只拟合预测:OpTTA加入乐观规划项,15个偏移设置中14个最终成功率高于AdaJEPA

    预训练潜世界模型在测试时通常保持冻结,分布偏移会让基于它的规划变差;只按预测损失在线更新,模型只拟合自己已执行动作的结果,对能到达目标的动作仍可能判断错误。OpTTA在预测损失之外加入规划器对候选想象轨迹的目标到达代价,让适应偏向“乐观”的模型参数。在三个JEPA世界模型、15个视觉与环境偏移设置上,只适应预测器时OpTTA相对冻结模型的最终成功率平均提高13.5个百分点,预测-only的AdaJEPA为6.9个百分点;同时适应编码器时为13.5对7.5个百分点。

  2. arXiv

    相机不再固定等流场:智能体在真实水洞中自主找尾迹,测量时间约为全扫描一半

    粒子图像测速(PIV)的成像位置通常由操作者在测量前固定,若关注结构偏离预期,后续算法无法补回未拍到的信息。研究把相机位置当作闭环决策变量,用DreamerV3在Isaac Sim中训练一个智能体,仅凭LIMA估计的速度场与不确定度驱动六自由度机械臂寻找、取景并分辨水翼尾迹。零样本迁移到真实水洞后,智能体能在随机摆放的水翼上定位尾迹,以高于固定视角的分辨率、更低的流动统计误差完成测量,耗时约为全扫描的一半,所用图像对也远少于扫描。

  3. arXiv

    世界模型不再先学表征再配控制器:LeWAM把动作预测并进同一遍训练,接触密集任务成功率从28.6%升到89.7%

    LeWAM把视觉表征、动作条件潜在动力学和随机策略放进同一次训练,在接触密集任务上把规划成功率从28.6%提到89.7%,长程任务从10.9%提到46.2%,规划速度提高32.3倍。

  4. arXiv

    GUI智能体不再重建未来屏幕:把预测搬进潜空间,成功率最高提升四成、延迟降98.9%

    GUI智能体的世界模型不再逐像素重建下一屏,而是让共享潜表示同时承担动作打分与动作条件未来预测,在离线与在线基准上成功率最高相对提升31.9%和40.6%,世界模型推理延迟最多降低98.9%。

  5. arXiv

    Latent-Foresight 端到端联合学习潜在分词器与流式动力学模型,在多类未来场景理解任务上稳定优于两阶段基线

    该工作提出 Latent-Foresight,一个端到端框架,联合学习潜在分词器与基于流的生成式动力学模型,显式塑造表征以支持时间可预测性,并通过若干防止潜在坍缩、对齐重建与生成目标的设计选择实现稳定联合优化;实验显示其学到的潜在表征在时间上更连贯,在多个未来场景理解任务与预测时域上持续优于两阶段基线,同时省去独立训练阶段,包括高分辨率适配阶段。

  6. arXiv

    ATLAS 在 LeWM 中同时保留关系几何与校准潜变量分布,在 PushT、TwoRoom 与 OGBench-Cube 上提升目标达成成功率,TwoRoom 高新颖度回合增益最大

    作者提出 ATLAS 训练目标,将编码器均值池化 patch 特征的归一化成对结构迁移到规划潜变量,并用基于一维 Wasserstein-2 传输的 WEMReg 校准其边缘分布,在 LeWM 上实例化后在 PushT、TwoRoom 与 OGBench-Cube 的低与高新颖度子集上均提升平均目标达成成功率,其中 TwoRoom 高新颖度回合增益最大,同时诊断显示规划潜变量中与新颖度相关的结构更强、边缘校准更好、多步预测误差更低。

  7. arXiv

    D-JEPA 用已执行结果监督候选未来之间的关系,在 PushT 上把成功率提到 87.89%,并在真实机器人上提升 17 个百分点

    D-JEPA 提出一种决策对齐的潜在世界模型:它先量化“决策局部预测缺口”——在真正竞争执行的那几个候选未来中,预测目标距离更近的候选可能反而执行失败,然后用已执行结果监督一个置换等变、有界的集合算子来学习候选未来之间的决策相关关系,并把学到的决策结构写入 JEPA 兼容的未来表示,从而可通过原生潜在距离规划直接读出动作;在 PushT 上达到 87.89% 成功率、RoboTwin 平均提升 15.04 个百分点、真实机器人任务提升 17 个百分点,驾驶场景 PDMS 均值从 57.36 升到 95.34。

已读完全部报道