跳到主要内容
返回时间线
World Labs来源发表:

Atlas 世界模型改走实时流式:Frameboy 在浏览器里以最高 15 fps 随镜头生成画面

核心概要

Atlas 此前是逐帧自回归生成的世界模型,用户要等数十秒甚至数分钟才能看到一段视频,只能谨慎地规划相机路径。新发布的研究预览 Frameboy 把经过高度优化的 Atlas 变体放在云端 GPU 上,以最高 15 fps 把画面流式传到浏览器,用户拖动相机时视图连续更新。同一实时能力也接入网页应用 Viewfinder,用户可先逐帧搭建自己的场景,再用 Frameboy 叠加层实时探索。

Source-provided article image: Frameboy: Atlas in Real-time
World Labs

深度剖析

Atlas 世界模型的交互方式从“提交一次、等待一段视频”变成“边移动相机边看画面更新”,用户可以在浏览器里实时探索由单张图像或少量视角定义的三维场景。 此前使用 Atlas 时,用户要等数十秒甚至数分钟才能拿到生成的视频,因此必须谨慎、有条理地搭建场景和规划相机路径,迭代次数受限。 Frameboy 以最高 15 fps 从云端 GPU 向浏览器流式传输帧,这一速率对应的是经过高度优化、以最快最省推理为目标的 Atlas 变体。

实时版本沿用 Atlas 的生成式新视角合成能力,既能从单张输入图像或一句文本描述从零生成场景,也能在真实场景的多视角采集之间导航。 更早的轻量帧生成模型 RTFM 主要设计用于在已有的一组视角之间插值,而 Atlas 规模更大、训练数据多出若干数量级,可以从极少上下文生成场景。 演示中的每个场景都以单张输入图像为种子,Atlas 补出塑造场景其余部分的额外视角,再放入 Frameboy 的空间上下文进行交互探索;真实地标场景则以多视角采集为输入。

启示与展望

Frameboy 目前必须运行在云端的强力 GPU 服务器上,且相对本地渲染方式并不便宜;Viewfinder 的实时叠加渲染模式处于封闭测试,需通过等候名单申请。

发布方把速度与成本视为当前限制,并以硬件和软件随新算法演进而变快变便宜作为预期,但没有给出这一变化的时间表;实时变体在提速后保持“出色的生成式新视角合成能力”这一表述未附定量指标。