7B模型压到五分之一：DictLLM用共享字典加稀疏系数，困惑度只涨2.9点

DictLLM把同一组层里的权重矩阵表示成一份共享字典加上每层自己的稀疏系数，压缩后的模型只需存一份字典和若干稀疏系数。 此前的低秩压缩要对每个权重矩阵单独做截断，秩压得很低时性能明显下降；基于字典的参数共享方法则通常要从头训练共享表示，难以直接用于十亿参数级的预训练模型。 在LLaMA-7B上，DictLLM把模型压缩5.1倍，WikiText-2困惑度只上升2.9点，压缩比约为最优低秩方法的3.6倍；在1.25倍到2倍的压缩比区间，它在WikiText-2、PTB、C4上的困惑度和七项零样本推理基准的平均准确率都优于ASVD、SVD-LLM和Basis Sharing。

整个压缩分四步完成：先对输入加权后的权重做奇异值分解得到共享字典，再在字典诱导的系数空间里剪枝，然后按稀疏系数重新拟合字典，最后把字典和系数都量化到4位浮点。 字典感知的Hessian把校准得到的输入协方差投影到系数空间，因此剪枝和量化都在系数上进行，而不是直接剪稠密权重。 字典和系数都用NVFP4量化后，LLaMA-7B在5倍、6倍、7倍压缩下的平均零样本准确率分别为0.47、0.43和0.40；其中7倍压缩的0.40仍高于Basis Sharing在2倍压缩下的0.36。

演示范围是LLaMA-7B、LLaMA2-7B、OPT-6.7B、Mistral-7B和Qwen3-1.7B/8B/14B上的后训练压缩，校准数据取自WikiText-2的256个样本，评测覆盖WikiText-2、PTB、C4的困惑度和七项零样本推理基准。端到端解码吞吐与内存只在单张NVIDIA RTX PRO 6000 Blackwell Max-Q、批大小为1、配合MACKO稀疏后端的条件下测得。

系数剪枝产生的是非结构化稀疏，其硬件效率取决于对不规则稀疏访存的支撑，结构化稀疏被列为后续方向。压缩模型会尽量保留原模型的行为，因此也可能保留其偏见、安全风险和失效模式。