已训练好的高斯泼溅场景不再只能重训压缩:事后熵编码把13个场景平均压到6.0倍,画质只差0.03 dB
核心概要
基于锚点的高斯泼溅场景训练后体积仍大到难以装进手机和头显,而已有的事后转换方法压缩比很早就饱和。这套方案把训练好的模型当作只读文件,为每个场景单独拟合一个带逐通道拉普拉斯分布的哈希网格熵上下文,再按莫顿顺序编码成可渐进解码的比特流。在三个基准的13个场景上,事后模式平均压缩6.0倍、画质变化−0.03 dB,且无需改动即可用于第三方检查点。
深度剖析
压缩不再必须从零重训:一个已经训练完成、无法再拿到训练流程的锚点高斯泼溅模型,也能被压到原体积的约六分之一,而渲染质量几乎不变。 此前的事后转换把权重映射到float16、标量网格或码本,所用规则对所有场景相同,冗余在训练结束时就被冻结,压缩比很早就饱和,比特预算一低失真就迅速上升。 在Mip-NeRF 360、Tanks and Temples、Deep Blending三个基准共13个场景上,事后模式平均压缩6.0倍、平均画质变化−0.03 dB;同一批场景上联合训练档位达到12.9倍、−0.33 dB。
编码器只读取模型文件本身,不需要训练图像、蒸馏配方或训练管线,单个场景在单张GPU上约九分钟即可拟合完成。 联合训练类编解码器要把量化模拟和熵上下文放进优化循环,每个场景都要从零重训,部署的模型已不是被验证过的那个模型。 四个并非由该团队训练的检查点(两个原生Scaffold-GS、两个Octree-GS)无需任何适配即被压缩,平均6.4倍,解码后相对原检查点的配对画质变化为−0.049 dB。
比特流按空间顺序切成可独立解码的块,客户端收到一块就能渲染对应区域,不必等整个文件下载完。 固定规则的基线必须先完整下载才能开始渲染。 在bonsai和bicycle上,收到四分之一的码流就已能生成可辨认的图像,画质随累计接收字节持续上升;渐进解码不增加渲染开销。
当训练管线可用时,同一比特流格式还能再上一档:把量化模拟、率失真损失和硬直通锚点掩码放进训练,压缩比在事后模式基础上再翻约一倍。 事后模式受限于模型训练时留下的冗余,比特预算低于7位后冻结符号统计成为瓶颈,重新拟合也补不回符号已不携带的信息。 bonsai上事后模式6位为30.61 dB,联合加掩码档位在同样6位下为31.13 dB,相差0.52 dB;13场景平均为8.8 MB、12.9倍、−0.33 dB,平均保留76%的锚点。
启示与展望
演示范围是锚点式高斯泼溅(以Scaffold-GS为代表,每个锚点存特征、偏移和缩放,再由轻量MLP解码成神经高斯),评测覆盖Mip-NeRF 360的9个场景、Tanks and Temples的2个和Deep Blending的2个,全部在单张RTX 4090D上完成,测试视图按1600像素渲染。事后档位面向只能拿到模型文件、拿不到训练管线的部署方;联合档位面向仍持有训练管线的团队。
事后档位的压缩上限由模型训练时留下的冗余决定,比特预算降到7位以下时冻结的符号统计成为瓶颈,重新拟合无法补回符号已不携带的信息。联合档位要提升这一上限就必须从零重训,且在最深压缩区间里,专门的联合编解码器仍然更强。量化目前对每个通道只用一套网格,逐锚点自适应步长和偏移级掩码被列为后续方向。
