高斯泼溅不再经过光栅化器：GaussianRenderFormer直接出图，未见物体38.08 dB
核心概要
GaussianRenderFormer把3D高斯泼溅的成像从手写光栅化器换成Transformer：每个高斯一个token，视角相关解码器按相机光线小块出像素。在26,820个Objaverse物体上训练后，300个未见物体上对完整泼溅渲染达38.08 dB PSNR，而直接光栅化同一份剪枝输入为44.02 dB；诊断指向视角解码器瓶颈，但训练不足未被排除。
深度剖析
渲染一组给定的3D高斯不再必须经过手写光栅化器，一个Transformer可以直接从高斯集合和相机输出图像。 此前涉及高斯的模型多用于重建、精修、重光照或理解高斯，最终成像仍交给手写渲染器，通常是3DGS光栅化器本身。 在300个开发阶段从未使用的留出物体、全部28个视角上，对完整未剪枝泼溅的渲染为38.08 dB PSNR，而光栅化同一份2万高斯剪枝输入为44.02 dB。
模型沿用RenderFormer的两段式布局，把每个高斯编码成一个token，再由视角相关解码器把相机光线小块变成像素。 场景编码器对每个高斯中心施加3D旋转位置编码，解码器新增投影位置的2D旋转编码、把每个高斯的投影足迹加到注意力键上，并把图像块缩小到原来的四分之一。 在中等规模消融中，去掉足迹损失1.7 dB，去掉2D编码损失5.2 dB，改用较大图像块损失3.0 dB；全规模下最终模型去掉足迹在新鲜留出集上低1.4 dB。
启示与展望
演示范围是单个物体、从外部环绕观察、512像素、固定视场角、相机距离1.15到2.45的配置；真实场景只取Mip-NeRF 360中切出的区域，同样从外部观看，尚不是相机位于场景内部的完整场景渲染。
最终训练结束时仍在提升，每翻倍步数约涨0.9 dB，因此训练不足没有被排除；输入比训练更密时模型变差而光栅化变好，可达目标实验只是对已训练模型的短程微调，不能说明从头训练的情形。