跳到主要内容
返回时间线
arXiv来源发表:

世界模型不再整帧硬猜:先学一张不确定度图,只让扩散模型补该补的地方

核心概要

D3WM把下一帧预测拆成确定部分和不确定部分,用学习到的不确定度图引导扩散模型只生成遮挡和动态纹理区域,在机器人操作与相机运动两类动作上超过对照世界模型。

Source-provided article image: Decoupled Drift-Diffusion World Models for Consistent Future Frame Prediction
Figure 4 · arXiv

深度剖析

未来帧预测被拆成两件事:动作带来的确定变化由确定性网络直接给出,遮挡区域和动态纹理这类随机变化交给扩散模型生成。 此前的做法二选一,三维高斯泼溅只做几何变换,在先前被遮挡的区域留下没有信息的空洞;条件生成模型则整体合成,不显式区分哪些变化是确定的。 在DL3DV基准的两视角外推上,D3WM在3、6、9、12帧每个预测时距的PSNR都高于DepthSplat,且差距随时距拉大,9帧和12帧上PSNR、SSIM、LPIPS三项都领先。

不确定度图不是人工标注的掩码,而是网络自己回归出来的空间方差,它同时充当扩散模型的训练条件和推理时的空间门。 确定性网络用高斯负对数似然目标训练,在确定预测误差大的位置被迫输出高方差,因此方差图能标出真正需要生成的位置。 推理时按逐像素信任图把扩散模型的噪声隐变量与加噪后的确定性预测做加权混合,低不确定度处结果收敛到确定性预测,高不确定度处等于扩散模型输出;消融显示去掉推理门或换成干净状态混合都会掉点。

在机器人操作上,用D3WM预测的帧去驱动轨迹生成策略,得到的轨迹比用iVideoGPT预测帧更接近真实帧驱动的轨迹。 iVideoGPT在Push-T上会扭曲几何,给出物理上不可能的夹爪和物体位置,以及被推T形物体的形变。 在Real PushT测试集14个回合中各随机取100帧、预测未来16帧,D3WM的ADE为12.864、FDE为17.550,iVideoGPT为45.134和65.228,真实帧为1.552和1.319。

启示与展望

报道覆盖的是动作条件下的单帧未来预测:机器人桌面操作与相机运动两类动作空间,以及两视角输入下的长时距外推。在DL3DV上预测3、6、9、12帧,在RealEstate10k上做未再训练的外分布外推,在Push-T和BridgeData V2上评估下游轨迹与候选动作验证。作者提出后续将试验不同参考视角数量,并把定向生成框架扩展到RGB图像之外。

作者指出模型每次查询只产出一帧,当只关心轨迹终点时高效,但难以评估中间状态是否可行;公式假设场景变化完全由输入动作序列驱动,不涵盖与智能体无关的可预测动态。在BridgeData V2上,IRASim在策略一致性上仍更强,作者认为这一差距来自IRASim对整个轨迹做扩散、能约束整段时距,而D3WM与WorldGym一样只预测单帧,没有把独立预测的未来帧绑在一起的机制。作者还说明确定性单模型PSNR更高是因为在高不确定区域做了平均而显得模糊,全模型采样更锐利但PSNR更低,锐利度是否值得这一代价无法仅凭该表判断。