Honeycomb 用六张固定尺寸特征平面做场景记忆,在 WorldScore 与 RealEstate10K 上把回访一致性和新视角合成同时推高
核心概要
该工作提出 Honeycomb 视频世界模型及其 HexMemory 记忆:用三张空间平面加三张时空平面的低秩分解把场景特征存进固定尺寸记忆,前馈写入器只处理新生成的分块、通过保维度的平面形变与置信度加权池化加学习式残差校正来融合新旧特征,读取器再从记忆中取回隐变量条件化后续生成;在 WorldScore 与 RealEstate10K 上报告了更好的生成质量与回访一致性,且特征存储在整个生成过程中保持恒定。
深度剖析
HexMemory 把持久场景记忆表示为六张固定尺寸的二维特征平面,即三张空间平面与三张时空平面,每对正交坐标轴覆盖四个坐标各一次,并附带记录累积插值权重的置信度图与世界空间/写入时间的包围盒。 既有空间记忆(如 Spatia 缓存 RGB 观测点云、LSM-World 缓存与 3D 点关联的扩散隐变量)会随观测累积而增长;这里改为低秩平面分解,平面维度在生成全程不变。 论文给出平面采样公式(双线性插值、空间平面跨写入时间共享信息、与时空平面相乘捕捉时变内容),并说明 HexPlane 原本逐场景优化而 HexMemory 使用跨场景共享的写入器,无需逐场景优化。
前馈写入器把每个新分块的隐变量观测映射为平面特征,递归更新时先按需扩展包围盒、以双线性插值把旧平面形变到新边界并保持网格维度,再用置信度加权池化与零初始化的学习式残差校正融合新旧特征。 相比逐场景直接优化(原 HexPlane 做法)和每步用全部历史点重建平面的替换式写入器,递归写入只处理新分块,避免重复处理完整历史。 消融显示递归写入在分块 2/5/9 的写入时间恒为约 13 毫秒,替换式写入器从 11.2 毫秒增长到 40.1 毫秒,直接优化约 3217 毫秒(论文称约慢 240 倍);三者 WorldScore 闭环 PSNR 分别为 17.22、17.16、17.44 dB。
在 WorldScore 闭环回访评测中,Honeycomb 在全部指标上取得所比较方法中的最好结果,PSNR 比次优方法高 1.23 dB,相对 Spatia 把光流误差从 6.64 像素降到 3.00 像素;在 RealEstate10K 新视角合成上达到 18.45 dB PSNR,高于 Spatia 的 15.58 dB 与 LSM-World 的 17.46 dB。 这些结果是在特征记忆尺寸固定、且写入记忆时不排除动态物体与天空的条件下取得的,而对比方法依赖随观测增长的空间缓存。 WorldScore 含 3000 个图像到视频样本,闭环评测从 100 个场景的输入图像出发沿离开并返回初始视角的轨迹生成;RealEstate10K 评测使用测试集 100 段视频,报告 PSNR、SSIM、LPIPS。
记忆分辨率与写入方式的消融给出存储、写入成本与质量之间的取舍:把平面分辨率从 512 降到 256 使 HexMemory 从 73.9 MB 降到 19.8 MB(论文称减少 73%),WorldScore 闭环 PSNR 仅下降 0.12 dB;附录的保留性探针显示,在 129 帧序列上连续写入后重建第 1 分块的 PSNR 从 16.71 dB 降到 16.30 dB,三次额外写入共下降 0.41 dB,仍比禁用记忆的 12.29 dB 基线高 4.01 dB。 这为固定尺寸记忆提供了可调的容量旋钮,并给出早期内容在后续写入下仍可恢复的量化证据。 消融在 WorldScore 闭环样本上进行,分辨率档位为 512/384/256/128;保留性探针固定输入帧、相机轨迹与提示词,并在计算精度时排除固定输入帧。
启示与展望
该结果面向以相机轨迹驱动的长时程视频世界模型生成,适用于需要离开并返回同一视角、要求布局与外观保持一致的场景;其记忆容量可通过平面分辨率调节,在 256 分辨率下以 19.8 MB 存储维持接近默认配置的回访质量,因此对存储受限的部署具有直接参考价值。方法依赖估计深度与相机位姿来完成世界空间反投影与写入,并建立在预训练相机可控视频扩散骨干之上,这界定了它当前适用的设定。
正文以摘要、方法、实验与附录的形式给出,图表以文字描述呈现,因此平面可视化与定性对比的具体细节仍需查阅原文图件确认。记忆保留探针只在一条 129 帧序列上报告,早期内容在更长 rollout 与更多次写入下的衰减趋势仍是开放问题。分辨率消融显示继续降低分辨率会带来更明显的质量退化,容量下限与场景复杂度之间的关系尚待刻画。此外,评测集中在 WorldScore 与 RealEstate10K,动态物体与天空被写入记忆这一设计在更复杂动态场景中的表现,以及与其他骨干结合时的行为,都是值得继续观察的方向。
