跳到主要内容
检索

# 视频世界模型

8 篇关联报道

订阅更新
  1. arXiv

    交互视频世界模型把旧帧当假象:改用有效时间重标日期,撤销动作后当前状态占比从0.36升到0.62

    交互视频世界模型从带拍摄时间戳的记忆库取帧,冻结的生成器把最新时间戳当作真相,因此智能体撤销动作后,唯一记录当前状态的旧帧会被判为过时。ReDate保留每一帧,按动作日志给出的有效时间重新标注检索到的令牌,让回退区域读作刚到达新状态,无需训练。在FAR基准的352个回退步骤上,当前状态占比从0.36升到0.62,过时状态占比从0.27降到0.09;HY-WorldPlay上从0.003升到0.19。

  2. Google DeepMind News

    机器人不必只靠真机试错:Gemini 4 Argon 把草图、视频和照片变成可跑的 MuJoCo 场景

    Gemini 4 Argon 把物理理解、代码生成和视觉语义推理放进同一个模型,让机器人任务可以先在仿真里练。在考察三维物理空间问题的 Embodied Reasoning(ERQA)基准上,它用纯推理拿到 87%,高于其他前沿模型。它还能从机器人相机画面、第一视角人类视频或手绘草图重建标定过的仿真孪生场景,并据此生成闭环控制与训练数据。

  3. arXiv

    Honeycomb 用六张固定尺寸特征平面做场景记忆,在 WorldScore 与 RealEstate10K 上把回访一致性和新视角合成同时推高

    该工作提出 Honeycomb 视频世界模型及其 HexMemory 记忆:用三张空间平面加三张时空平面的低秩分解把场景特征存进固定尺寸记忆,前馈写入器只处理新生成的分块、通过保维度的平面形变与置信度加权池化加学习式残差校正来融合新旧特征,读取器再从记忆中取回隐变量条件化后续生成;在 WorldScore 与 RealEstate10K 上报告了更好的生成质量与回访一致性,且特征存储在整个生成过程中保持恒定。

  4. arXiv

    LOCI 用相机几何条件化的线性记忆加历史 KV,在 MIND 记忆基准上把重访 PSNR 提到 14.36 dB,并以恒定 23.6 GiB 流式生成 300 秒视频

    LOCI 提出一种混合空间记忆架构:在 30 个 transformer 块中的 15 个保留历史观测的键值缓存,另外 15 个只关注当前块并辅以一个由投影相机几何条件化读写的循环线性注意力记忆,循环读出会流入后续缓存块并为它们的查询提供累积场景上下文;在公开 MIND 记忆基准和留存的录制轨迹上,它比代表性世界模型和同配方全 softmax 模型更忠实地复现重访内容,全历史下等长度峰值内存降低约 30%,在有界观测库下以恒定内存流式生成长视频。

  5. arXiv

    Memorizon 让世界模型在固定序列长度下训练任意长跨度:重访一致性在八个记忆指标中领先五个

    Memorizon 提出一种训练配方:每个被评分的 chunk 按相机共视性各自检索 top-k 潜变量,其并集构成容量有界的共享记忆库,使训练样本可覆盖任意长跨度而注意力序列长度保持不变;在滑动窗口基线上重访一致性全面提升,跨度长到覆盖首次访问后进一步提升,代价是图像质量下降。

  6. arXiv

    Physis-Lang 用自演化物理语言改写视频世界模型:开源 Cosmos3-Nano 在 Physics-IQ Verified、PhyGround、PhyGenBench 上超过 Veo 3.1

    Physis-Lang 把物理语言当作数据筛选、模型训练与视频生成共享且可优化的表示,用物理感知评论器与 PhysCapBench 驱动的智能体循环迭代改进物理描述指令,并用语言引导检索补齐模型缺失的物理过程,在 Wan 与 Cosmos 骨干的四个物理视频基准上取得一致提升,其中基于开源 Cosmos3-Nano 的模型在 Physics-IQ Verified、PhyGround、PhyGenBench 上超过 Veo 3.1。

  7. arXiv

    WorldAttention 用分层 KV 缓存与混合稀疏注意力把交互式视频世界模型推到单卡 H100 上 22 FPS,并在 VBench-Long 取得 0.9472 主体一致性

    该工作提出 WorldAttention,一种面向交互式视频世界模型的注意力架构,通过分层 KV 缓存(HKV)在 GPU、CPU、NVMe 多级内存间做页面级存储与两阶段检索,并用混合稀疏注意力(HSA)结合线性全局分支与头自适应块稀疏分支,在 VBench-Long 与 InterVBench 上取得主体一致性 0.9472 与 0.9668,同时实现相对 FlashAttention-3 的 14.02 倍稀疏核加速、整体 2.21 倍端到端加速,并在单张 NVIDIA H100 上维持 22.0 FPS。

  8. arXiv

    WorldCrafter:一致视频世界模型与隐式三维感知记忆

    该工作提出 WorldCrafter,一个相机可控的自回归视频世界模型:它学习可被相机位姿查询的隐式三维感知记忆,把历史潜帧压缩成固定 token 预算的记忆标记,在去噪前注入视频扩散 Transformer,使单张图像或文本提示即可驱动分钟级的流式场景探索,并在静态与动态场景的重访一致性和相机控制准确度上优于所评估的基线,同时保留视觉质量。

已读完全部报道