跳到主要内容
返回时间线
arXiv来源发表:

训练检查点不再按位存:用参考权重指数预测位移长度,存储最多省27%

核心概要

ULPack把相邻检查点之间的权重位移按有序整数残差编码,并用参考权重的指数预测位移位长,在bfloat16、float16和float32轨迹上比ZipNN最多少占27%存储。

Source-provided article image: ULPack: Reference-Conditioned Lossless Compression of Checkpoint Trajectories
arXiv

深度剖析

检查点轨迹的无损压缩多了一条可用的条件线索:参考权重的指数本身就能预测对应位移的位长,不需要额外信息。 此前的无损编解码器要么在XOR位模式上工作,要么忽略轨迹特有的条件结构。 在bfloat16、float16和float32三类轨迹上,ULPack相对ZipNN最多减少27%存储,相对zstd-19减少21%,相对FM-Delta减少11.5%。

编码器把相邻检查点的权重差看成有序浮点空间里的整数位移,再让熵模型以参考权重的指数为条件来编码这些残差。 这种条件化利用了有序整数残差与参考指数之间的依赖关系,而不是直接压缩XOR位模式。 在两条稠密轨迹上,更新幅度变小时压缩率随之改善,参考条件化也随之增强;接近均匀的低位比特构成剩余的压缩下限,更早的检查点提供的信息很少。

启示与展望

报道覆盖的是检查点轨迹的无损压缩这一场景,面向需要保存训练快照、又受存储限制的研究与工程读者。摘要给出的结果限于bfloat16、float16和float32轨迹,以及两条稠密轨迹上的压缩行为观察。

摘要指出,接近均匀的低位比特设定了剩余的压缩下限,更早的检查点带来的信息很少;压缩改善与更新幅度变小、参考条件化增强同时出现,这一关系是在两条稠密轨迹上观察到的。