跳到主要内容
返回时间线
arXiv来源发表:

交互视频世界模型把旧帧当假象:改用有效时间重标日期,撤销动作后当前状态占比从0.36升到0.62

核心概要

交互视频世界模型从带拍摄时间戳的记忆库取帧,冻结的生成器把最新时间戳当作真相,因此智能体撤销动作后,唯一记录当前状态的旧帧会被判为过时。ReDate保留每一帧,按动作日志给出的有效时间重新标注检索到的令牌,让回退区域读作刚到达新状态,无需训练。在FAR基准的352个回退步骤上,当前状态占比从0.36升到0.62,过时状态占比从0.27降到0.09;HY-WorldPlay上从0.003升到0.19。

Source-provided article image: Old Is Not False: Valid-Time Memory for Interactive Video World Models
arXiv

深度剖析

交互视频世界模型在智能体撤销动作后会把过时画面当成当前状态,原因是记忆库按拍摄时间给帧排序,而生成器把最新时间戳读作真相。 此前面向变化世界的记忆把被更新视图否定的旧视图当作永久失效,删除、掩码或衰减它,或整帧过滤掉与状态表不符的帧。 在固定帧、权重和噪声、只改写时间戳的条件下,FAR在子集A的1,478个评估步骤上保留时间戳时画出当前状态0.51、过时状态0.12,反转时间戳后变为0.07和0.58;HY-WorldPlay交换两个视图的旋转位置后,过时视图在后给出71个过时渲染和1个当前渲染,交换后给出70个当前和5个过时。

ReDate不改动生成器权重,只改变生成器看到的时间戳,让回退区域被读作刚刚到达新状态。 它借用时序数据库区分记录写入时间与内容有效时间的做法,用智能体的动作日志推出每个区域最后一次被恢复的时刻。 在FAR冻结的扩散Transformer上,352个回退步骤的当前状态占比从0.36升到0.62,过时占比从0.27降到0.09,141个片段中54个更高、2个更低;在197个留出片段、590个回退步骤上为0.58对0.34。

过时内容被移到过去而不是删除,帧保持完整,图像质量高于留下空洞的做法。 删除规则在回退步骤上只达到0.02到0.14,因为删掉了目标位姿下唯一记录当前状态的帧。 在352个回退步骤上,隐藏过时令牌比移动它们低4 dB以上PSNR,并把超过三分之一的渲染推到质量下限以下;逐令牌时间戳把过时占比从每帧0.15降到0.09。

同一套时间戳规则在第二个生成器上同样生效,且不依赖真实帧或变化掩码。 HY-WorldPlay通过时间旋转位置读取历史,此前在拍摄时间下几乎不画出当前状态。 在种子1的352个回退步骤上,当前状态占比从0.003升到0.188,过时占比从0.281降到0.091;种子0为0.208,留出片段为0.181。

启示与展望

演示范围是FAR冻结扩散Transformer上的AI2-THOR房间回放,以及HY-WorldPlay的480p图生视频配置,另在31个Charades真实家庭撤销事件上做了两两比较读数。方法面向给帧标注时间的检索式记忆,不改变检索、压缩或生成器权重。

剩余误差集中在目标位姿从未存下当前状态的步骤:ReDate在回退步骤上的134次未命中里有120次落在133个此类步骤中,这些步骤上所有记忆都不超过0.10。把当前状态搬运到目标位姿的中继和深度重投影分别只达到0.13和0.10,作者把渲染有效时间视图和记录其他行动者的改变列为下一步问题。