# LazyWeights按需解码边缘LLM权重压缩

边缘设备上的大模型权重格式给每个整数码分配相同位宽，而权重码本身分布并不均匀。LazyWeights 保留 llama.cpp 的 GGUF 格式，只调整 GPTQ 让码更集中，再用可按 32 条并行通道解码的 Huffman 码无损压缩，并在 DRAM 与 L2 之间的小单元里按需解码，GPU 内核不变。在 1% 与 3.5% 困惑度预算下，编码后的 Phi-3-mini、Mistral-7B 和 SmolLM-1.7B 比最好的 llama.cpp 格式小 5.7–31.4%；在 Jetson Orin Nano Super 上，配合该解码单元，每 token 延迟与能耗最多降低 36% 和 38%。

边缘设备上的大模型权重格式给每个整数码分配相同位宽，而权重码本身分布并不均匀。LazyWeights 保留 llama.cpp 的 GGUF 格式，只调整 GPTQ 让码更集中，再用可按 32 条并行通道解码的 Huffman 码无损压缩，并在 DRAM 与 L2 之间的小单元里按需解码，GPU 内核不变。在 1% 与 3.5% 困惑度预算下，编码后的 Phi-3-mini、Mistral-7B 和 SmolLM-1.7B 比最好的 llama.cpp 格式小 5.7–31.4%；在 Jetson Orin Nano Super 上，配合该解码单元，每 token 延迟与能耗最多降低 36% 和 38%。