高斯码本换成隐式Hadamard字典:FLUX上往返时间从数十秒降到数秒,视频单卡接近实时
核心概要
免训练生成式压缩不再需要显式高斯码本:H-DDCM用隐式随机Hadamard字典替代它,在FLUX尺度上匹配完整码本的保真度,同时把往返时间从数十秒降到数秒。
深度剖析
免训练生成式压缩的码本开销被换成一次快速变换。此前Turbo-DDCM把高斯码本显式存下来或重新生成,码本大小随隐空间维度和原子数一起增长,在FLUX尺度上完整码本约需数十GiB,只能靠截断码本换取可运行性。H-DDCM在FLUX上匹配完整码本的保真度,同时保留截断码本的运行效率,往返时间从数十秒降到数秒。 此前Turbo-DDCM要么存储完整高斯码本、要么把码本截断到远低于隐空间维度;截断会限制残差可用的方向集合,在匹配码率下降低质量。 在FLUX(隐空间维度约6.4万)的DIV2K图像上,与完整码本Turbo-DDCM、截断码本Turbo-DDCM和DiffC比较PSNR与FID;SD 2.1上H-DDCM与完整码本Turbo-DDCM的往返时间同为数秒,DiffC为数十秒,DDCM更长。
编码器与解码器都不再持有码本,只共享一个随机种子。每一步由种子生成Rademacher对角矩阵,与归一化Hadamard矩阵相乘得到随机化正交基;快速Walsh-Hadamard变换直接给出投影和重建,无需把字典写进内存。因为该基严格正交,取最大相关系数并量化系数的阈值规则恰好是稀疏最小二乘的精确解,而不再只是高斯原子近似正交下的近似。 Turbo-DDCM依赖高维高斯原子的近似正交性来使用同一阈值规则,并需要稠密矩阵乘法访问码本。 图像实验在SD 2.1(隐空间维度16384)和FLUX(隐空间维度约6.4万)两个骨干上运行,单张NVIDIA A6000 GPU,每系数1比特,扫描码率-失真-感知曲线。
传输比特流也不再依赖预计算的组合表。所选索引是无序子集,按字典序排名可省去排列冗余;H-DDCM改用无表的增量递推或hockey-stick恒等式直接计算二项式系数,并把候选原子分组、先传各组计数再传组内排名,使大维度下的组合编码可运行。 Turbo-DDCM的字典序排名与反排名依赖一张稠密二项式系数表,其构造与存储随字典规模增长,在高维下不实用。 在FLUX尺度上,该表在较大配置下构造耗时约1387秒、占用数十GiB磁盘,而递推方案无一次性构造开销,压缩与解压总时间从75.23秒降到68.50秒。
视频侧把框架接到因果自回归流模型上,并加入重编码尾部KV缓存刷新:每到一个续接边界,把最近重建的像素帧重新编码成新的KV缓存前缀,为下一段提供时间上下文且不额外传输比特。这样压缩可以超出骨干的有限训练上下文,在单张GPU上做长时、接近实时的流式生成式视频压缩。 直接把自回归缓存延伸到训练上下文之外会严重退化,而在每个边界简单重置缓存会丢弃时间上下文并在分段处引入不连续。 在UVG与MCL-JCV(分辨率1280×720)上,与HEVC、VVC、DCVC-UF、ZeroGVC以及两种码本的Turbo-DDCM比较PSNR、DOVER、FVMD和编解码吞吐,吞吐在单张NVIDIA H200上测量。
启示与展望
报道覆盖图像与视频两类实验:图像在SD 2.1(隐空间维度16384)与FLUX(隐空间维度约6.4万)上评估,视频在Causal-Forcing骨干上以1280×720分辨率评估,吞吐在单张A6000或H200上测量。适合关注免训练生成式压缩、扩散与流模型采样轨迹编码、以及大隐空间下码本可扩展性的读者。视频侧的重编码尾部KV缓存刷新与首步代理残差初始化在附录中做了消融,可作为复现时的起点。
视频侧在一致性采样下不使用确定性尾部,所有步都做噪声选择并携带比特;过完备字典的全局top-k阈值不再精确求解稀疏最小二乘,仍沿用Turbo-DDCM的做法,只是实测中直接合成与伪逆合成给出几乎相同的噪声方向。首步用源块空间均值构造代理残差,消融显示去掉它虽能改善部分聚合指标,却难以与输入视频保持时间对齐。图像侧在低码率下步数向高噪声时刻聚集,码率升高后才转为均匀采样。
