世界模型不再随视频变长而膨胀：L3G-World用潜空间3D高斯记忆，单张H100跑到9.02 FPS
核心概要
交互式世界模型长期受困于记忆随生成时长线性增长：时间上下文会耗尽显存，显式3D记忆则因逐帧累积冗余基元而变慢。L3G-World把场景记忆改为紧凑的潜空间3D高斯，只在新观测区域生成新高斯、对已有高斯做残差修正，并让每个高斯直接存VAE潜特征，从而把记忆渲染进扩散Transformer的潜空间而无需重新编码。在DL3DV与RealEstate10K的481帧闭环轨迹上，完整版L3G-World的PSNR为16.00与18.36，配合少步蒸馏后在单张H100上达到9.02 FPS。
深度剖析
世界模型的场景记忆不再随生成帧数增长，而是随探索到的空间范围增长。 此前的时间上下文方法把历史帧或自注意力KV缓存留作记忆，显式3D记忆方法则逐帧累积点云或高斯基元，两者都随生成流长度变贵。 在DL3DV上，L3G-World存33K个基元、占11.88 MiB，而高斯基线NeoVerse存8,766K个基元、占501.57 MiB；在RealEstate10K上两者分别为25K对10,437K、8.91 MiB对597.21 MiB。
记忆更新器只在新观测区域生成新高斯，并对已探索区域的高斯做残差修正，使记忆成为持续修订的场景表示而非不断堆积的缓冲区。 逐帧前馈重建会把同一空间区域反复累积成冗余基元，且已存基元不被更新，几何误差会一直保留。 在DL3DV的新视角合成消融中，去掉自适应生成后高斯数从41K升到75K，PSNR从16.52降到16.26；去掉修正流后PSNR降到15.52。
每个高斯额外携带VAE潜特征，记忆可直接渲染到视频扩散Transformer的潜空间，省去先渲染RGB再VAE编码的步骤。 此前的显式3D记忆只存RGB外观，条件化潜视频生成器时必须重新编码渲染结果，无法支撑实时生成。 在DL3DV上，L3G-World的VAE空间渲染吞吐为1,086.58 FPS，而最省的高斯基线NeoVerse为3.11 FPS；消融中去掉VAE提升后，VAE渲染吞吐降到2.97 FPS。
记忆条件化的视频生成器经少步蒸馏后，可在单张H100上以9.02 FPS实时生成世界。 此前显式3D记忆方法在对比表中均未达到实时，总FPS最高为NeoVerse的1.99。 对比表记录L3G-World总FPS为9.02、峰值显存7.4 GiB，并标记为实时；其余列出的方法均未标记实时。
启示与展望
演示范围是单图输入、沿给定相机轨迹在DL3DV与RealEstate10K上生成，效率测量在单张A100上完成，实时数字来自单张H100上的少步蒸馏版本。
记忆主要面向静态场景，不显式建模独立运动的物体；探索范围极大时记忆仍会增长；长时程自回归中引入的误差仍可能传播到后续记忆更新。