逆渲染不再靠正则项塞先验:把材质变量搬进先验格点,重光照PSNR高出1.5–2.5 dB
核心概要
物理逆渲染要从照片里拆出材质与光照,两者组合多解,学到的材质预测常被当作额外正则项加进目标函数,却要重新平衡权重。这里改为用预测特征关系限制优化空间:把多视角材质预测融合到网格上,在先验特征空间建置换多面体格点,让预测相近的表面点共享材质变量,目标函数保持纯光度拟合。在Synthetic4Relight与TensoIR-Synthetic上,两种预测器配置的重光照PSNR比最强的网格类基线高1.5–2.5 dB,并在受控对比中优于使用同一先验的正则损失。
深度剖析
逆渲染的材质不再逐顶点独立求解,而是由先验特征空间中共享的格点变量表示,优化目标仍是纯光度拟合。 此前的做法把学到的材质预测写成辅助正则损失,这会改变优化目标,还要把正则强度与光度损失做权衡。 在Synthetic4Relight与TensoIR-Synthetic上,两种先验配置的重光照PSNR比最强的网格类基线高1.47–1.50 dB和2.28–2.48 dB。
做法是把多视角材质预测融合到网格上,再在预测特征空间里建一张置换多面体格点,让预测相近的顶点共用一组材质变量。 置换多面体格点原本用于高维高斯滤波,这里被用来定义材质变量的共享关系,格点与顶点之间的映射在联合优化中固定不变。 在Synthetic4Relight、TensoIR-Synthetic、DTC-Synthetic与Stanford-ORB上,用MVInverse和DiffusionRenderer两种预测器各跑一遍,定量结果是三次随机种子运行的均值。
共享变量把各顶点的光度梯度汇聚起来,使不同采样视角下的材质更新更一致,联合优化因此可以大幅压缩。 没有先验时,更新能量中九成以上是随采样变化的噪声;改用格点重参数化后,反照率的一致成分从8%升到54%,粗糙度从2%升到25%。 在TensoIR-Synthetic上改用100步调度,更新循环耗时34–39秒,重光照质量仍高于所有被评估的基线。
启示与展望
演示范围是固定光照下多视角图像重建带PBR材质的三角网格与环境贴图,金属度在主要结果中固定为零,仅作为先验特征保留;定量结果覆盖Synthetic4Relight、TensoIR-Synthetic、DTC-Synthetic与Stanford-ORB,合成基准为三次随机种子的均值。
先验预测本身模糊或跨视角不一致时,相近的预测会把不同材质的顶点耦合在一起,导致材质估计次优;输入引导的先验细化能恢复部分细节对比,但无法从局部恒定的预测中造出对比,光照或几何边缘仍可能误导选择。优化后的反照率距格点可达上限仍有1.94–4.35 dB差距,说明现有表示内还有提升空间。
