跳到主要内容
检索

# 新视角合成

12 篇关联报道

订阅更新
  1. World Labs

    Atlas 世界模型上线实时预览:Frameboy 把云 GPU 生成的画面以最高 15 fps 流进浏览器

    Atlas 是一个自回归世界模型,此前生成一帧帧画面需要等待数十秒甚至数分钟,用户只能谨慎地规划相机路径。现在发布的 Frameboy 研究预览把经过高度优化的 Atlas 变体部署在云端 GPU 上,以最高 15 fps 向浏览器流式传输画面,用户拖动相机时视图连续更新。该演示既可从单张图像或文本描述生成场景,也保留并改进了从多视角图像做新视角合成的能力,但必须运行在云端高性能 GPU 服务器上,成本高于本地渲染。

  2. World Labs

    Atlas 世界模型改走实时流式:Frameboy 在浏览器里以最高 15 fps 随镜头生成画面

    Atlas 此前是逐帧自回归生成的世界模型,用户要等数十秒甚至数分钟才能看到一段视频,只能谨慎地规划相机路径。新发布的研究预览 Frameboy 把经过高度优化的 Atlas 变体放在云端 GPU 上,以最高 15 fps 把画面流式传到浏览器,用户拖动相机时视图连续更新。同一实时能力也接入网页应用 Viewfinder,用户可先逐帧搭建自己的场景,再用 Frameboy 叠加层实时探索。

  3. arXiv

    动态世界模型不再逐帧重渲染:把静态与动态内容存进4D潜缓存,条件获取耗时占比从14.9%降到0.25%

    动态世界建模中,同一批观测要为不同时刻和视角的多次生成提供条件,此前每次请求都要把重建场景渲染成RGB再重新编码。4LC把多个视觉编码器提取的静态与动态内容表示绑定到共享的几何与运动上,做成可按任意时刻和视角直接读取的4D潜缓存,省去逐请求的渲染与重编码。在相同生成设置下,条件获取占端到端生成时间的比例从NeoVerse的14.9%降到0.25%,单个4LC-Video模型无需任务特定微调即可覆盖相机控制、时间控制、新视角合成、场景重访和长期生成五类任务。

  4. arXiv

    世界模型不再整帧硬猜:先学一张不确定度图,只让扩散模型补该补的地方

    D3WM把下一帧预测拆成确定部分和不确定部分,用学习到的不确定度图引导扩散模型只生成遮挡和动态纹理区域,在机器人操作与相机运动两类动作上超过对照世界模型。

  5. arXiv

    OX-NeRF 在四至十个投影的超稀疏 X 射线场景中取得最高三维重建精度

    作者提出 OX-NeRF,将跨场景卷积编码器与每个场景独立的多分辨率哈希网格融合后送入 MLP,以自监督方式联合优化,在平行束与锥束 X 射线数据集上,于四至十个投影的超稀疏条件下取得比现有自监督辐射场方法更高的三维重建精度。

  6. arXiv

    RDGSplat 在冻结 3D 基础模型上解码渲染专用几何,将 WM2.0 的 RE10K PSNR 从 20.918 提升到 24.266 dB 且度量预测不变

    RDGSplat 提出一种双次评估框架:在冻结的 3D 基础模型上,通过复制预训练解码器并在纯光度监督下优化,同时用目标位姿条件适配器改写解码器读取的表示,从而解码出一套专用于渲染的几何,而模型的度量预测保持不变。在 RE10K、ACID、DL3DV 和 DTU 四个基准上,该方法在三个前馈骨干上均提升新视角合成质量,其中 WM2.0 在 RE10K 上从 20.918 提升到 24.266 dB,仅新增 205.5 M 可训练参数,且深度与位姿预测逐位一致。

  7. arXiv

    MoonGS 用冻结视觉基础模型与语义排序损失,从双图前馈重建月面,LuSNAR 上 PSNR 达 23.80 dB

    MoonGS 是一个面向月面场景的前馈 3D 高斯泼溅框架:仅输入两张图像,单次前向即预测像素对齐的高斯原语,无需逐场景优化;它用冻结的视觉基础模型(DUSt3R,亦可换用 VGGT)提取鲁棒深度特征,融合语义先验并以语义排序损失正则弱纹理背景深度,再用熵引导的启发式重采样补充稀疏观测。在 LuSNAR 与自建弱纹理 MoonBlender 数据集上,其 PSNR、SSIM、LPIPS 均优于前馈 NeRF/3DGS 基线,推理保持亚秒级。

  8. arXiv

    SNAP用受限解码器与潜空间重建目标,让新视角合成预训练产出可迁移几何表征

    作者提出SNAP,一个自监督编码器-解码器Transformer:编码器在无位姿条件下用全跨视角自注意力聚合冻结DINOv3 patch特征,解码器用PRoPE位姿条件化并施加BlockNN掩码把目标视角自注意力限制为逐点残差MLP,训练目标是对齐冻结DINOv3特征的潜空间重建并加入一阶空间有限差分惩罚;在RealEstate10K、DL3DV、Co3Dv2约11.7万序列上训练后,冻结编码器在点对应、视觉定位、相对位姿、相对深度与MimicGen机器人操作五项任务上匹配或超过自监督基线,并在相机偏移下比2D语义编码器退化更平缓。

  9. arXiv

    Honeycomb 用六张固定尺寸特征平面做场景记忆,在 WorldScore 与 RealEstate10K 上把回访一致性和新视角合成同时推高

    该工作提出 Honeycomb 视频世界模型及其 HexMemory 记忆:用三张空间平面加三张时空平面的低秩分解把场景特征存进固定尺寸记忆,前馈写入器只处理新生成的分块、通过保维度的平面形变与置信度加权池化加学习式残差校正来融合新旧特征,读取器再从记忆中取回隐变量条件化后续生成;在 WorldScore 与 RealEstate10K 上报告了更好的生成质量与回访一致性,且特征存储在整个生成过程中保持恒定。

  10. arXiv

    GeoVerse 把视频生成先验注入几何潜空间,在 DL3DV 上把 PSNR 提高 2.23 dB、在 Mip-NeRF360 上把 ATE 降低 32.4%

    GeoVerse 在预训练 3D 基础模型(DA3)的几何潜空间内做扩散生成,用 ControlNet 式适配器把冻结的 Wan2.2 VACE 视频特征注入去噪器,并用持续更新的彩色点云空间记忆把历史内容重投影为目标对齐引导,从而在稀疏输入下合成跨视角一致的新视图;在 DL3DV、RealEstate10K、Mip-NeRF 360、ScanNetV2 四个基准上取得更优的视觉质量与几何一致性,其中 DL3DV 的 PSNR 比 GLD 高 2.23 dB、Mip-NeRF 360 的 ATE 比 GLD 低 32.4%,并通过 reflow 蒸馏把推理从 100 秒以上降到 10 秒以内。