高斯泼溅不再经过光栅化器:GaussianRenderFormer直接出图,未见物体38.08 dB
GaussianRenderFormer把3D高斯泼溅的成像从手写光栅化器换成Transformer:每个高斯一个token,视角相关解码器按相机光线小块出像素。在26,820个Objaverse物体上训练后,300个未见物体上对完整泼溅渲染达38.08 dB PSNR,而直接光栅化同一份剪枝输入为44.02 dB;诊断指向视角解码器瓶颈,但训练不足未被排除。
GaussianRenderFormer把3D高斯泼溅的成像从手写光栅化器换成Transformer:每个高斯一个token,视角相关解码器按相机光线小块出像素。在26,820个Objaverse物体上训练后,300个未见物体上对完整泼溅渲染达38.08 dB PSNR,而直接光栅化同一份剪枝输入为44.02 dB;诊断指向视角解码器瓶颈,但训练不足未被排除。
AgentGarten把环境拆成两半:模拟器或游戏引擎保存持久状态并执行可编程的交互规则,共享的神经渲染器只负责把引擎导出的几何条件实时变成智能体看到的画面。渲染器由预训练视频模型经几何条件适配、块因果改造和Adversarial Forcing蒸馏得到,在单张H100上以超过35帧每秒生成观测。在捉迷藏中,只通过渲染画面观察的预训练智能体第4轮用挡板搭出掩体、第10轮用斜坡翻墙,另有四个世界在四轮练习中成绩提升。
已读完全部报道