长视频生成不再随时间遗忘：Smart 用相机位姿寻址固定容量槽记忆，训练视野外仍能找回旧场景
核心概要
长视频生成长期在两种记忆之间取舍：显式几何缓存能按位置找回旧画面，但存储随场景增长；循环记忆容量固定，却让旧观测随时间衰减。Smart 把固定容量的槽记忆改为由相机位姿寻址，写入和读取都按“在哪里看到”而非“多久以前看到”进行，并让扩散生成器依据记忆给出的置信度决定信任程度。在 Memory Maze 与 Minecraft 的长轨迹上，它在训练视野之外仍保持高保真回忆，且内存与单步开销恒定。
深度剖析
长视频生成现在可以在固定内存下记住很久以前看过的场景，并在相机回到原处时按位置取回，而不是按时间新旧取回。 此前的显式几何记忆需要缓存并重投影显式三维结构，存储随探索范围增长且依赖估计的三维结构；循环记忆保持恒定状态，但保留内容由时间递归决定，旧观测会随时间淡出。 在 Memory Maze 与 Minecraft 的长轨迹上，Smart 在远超训练视野的范围内保持高保真回忆，同时使用恒定内存和每步恒定开销；在 Memory Maze 上，重建质量随轨迹变长只是逐渐下降，而所有时间上下文基线退化更快。
记忆的写入与读取都由相机位姿决定，内容本身不参与寻址。 每个区域令牌的地址由该区域视线方向的 Plücker 坐标经卷积编码得到，写入键与读取查询只是该地址的逐头线性函数，因此查询与键的匹配只取决于两个区域的视角几何。 写入时每个令牌只更新一个槽，槽由固定嵌入定义其负责的位姿区域，未被选中的槽不衰减也不写入；读取时目标相机经同一地址编码器形成查询，返回槽内容的混合，再由目标相机把内容变换到查询视角，并输出一张粗粒度视图和逐格置信度。
生成器把记忆返回的粗视图当作草稿，按置信度决定在哪些格子上信任记忆、在哪些格子上依赖自身生成先验。 草稿与置信度掩码按通道拼接到当前含噪潜变量上，使每个令牌都带有一个空间对齐的记忆估计，而不额外增加令牌。 生成器是分块因果的扩散 Transformer，每一步只对当前块及其之前的干净上下文做前向，单步代价取决于块长而非视频已生成的长度；生成的块再写回记忆，因此任意长度 rollout 都在恒定内存下运行。
启示与展望
演示范围是 Memory Maze 的程序生成第一人称迷宫与 Minecraft 开放地形轨迹，前者在低分辨率下强制回访，后者为更高分辨率的动作条件生成；两种实例共享同一记忆接口，但骨干、自编码器与分辨率不同。
固定记忆容量限制了可保留的空间范围：环境足够大时不同区域会复用同一槽，先前内容被覆盖而遗忘；当前实验使用的生成器骨干规模相对有限，扩展到更大视频模型后记忆机制与更强生成先验如何相互作用尚未评估。