跳到主要内容
返回时间线
World Labs来源发表:

Atlas 世界模型上线实时预览:Frameboy 把云 GPU 生成的画面以最高 15 fps 流进浏览器

核心概要

Atlas 是一个自回归世界模型,此前生成一帧帧画面需要等待数十秒甚至数分钟,用户只能谨慎地规划相机路径。现在发布的 Frameboy 研究预览把经过高度优化的 Atlas 变体部署在云端 GPU 上,以最高 15 fps 向浏览器流式传输画面,用户拖动相机时视图连续更新。该演示既可从单张图像或文本描述生成场景,也保留并改进了从多视角图像做新视角合成的能力,但必须运行在云端高性能 GPU 服务器上,成本高于本地渲染。

AI-generated editorial illustration: Frameboy: Atlas in Real-time

深度剖析

Atlas 生成的画面现在可以边操控相机边连续传回浏览器,用户不再需要先按下生成、再等待结果。 此前用户要等数十秒甚至数分钟才能看到 Atlas 生成的视频,只能谨慎而有条理地搭建场景、规划相机路径,迭代周期因此受限。 Frameboy 演示从云端 GPU 向浏览器流式传输帧,最高达到 15 fps,所用的是为最快、最省推理而高度优化、同时保持新视角合成能力的 Atlas 变体。

实时交互把一次生成变成连续导航,用户可以在场景中快速试错。 手动迭代时,用户要在房间里点四个关键点相机、按生成、等待视频,再拖动关键点并重复等待;实时模式下相机绕房间移动,视图随之持续更新。 这一对比以同一间客厅的两种视图呈现,说明延迟和成本降低后,用户不再感知到一次离散的“生成”动作。

同一套实时能力也接入了网页应用 Viewfinder,用户可以先逐帧搭建自己的场景,再以流式叠加层实时探索。 Frameboy 只提供一份精选场景列表,Viewfinder 则允许用户用自己的输入逐帧构建场景,并从不同相机角度生成三维一致的视图。 Viewfinder 中每一新帧由 Atlas 生成,同时包含颜色和深度以帮助呈现所建三维空间;该应用目前处于封闭测试,需加入等待名单。

启示与展望

已展示的范围是:Frameboy 作为研究预览,在云端高性能 GPU 服务器上以最高 15 fps 向浏览器流式传输 Atlas 变体生成的帧,场景可由单张图像或文本描述起步,也可由真实地点的多视角采集驱动;Viewfinder 的实时叠加渲染目前处于封闭测试。

材料称 Frameboy 目前必须运行在云端高性能 GPU 服务器上,且与本地渲染方法相比并不便宜;实时变体在提速的同时保持新视角合成能力,但未给出量化对比。