# 低显存大语言模型推理

边缘设备上的大模型权重格式给每个整数码分配相同位宽，而权重码本身分布并不均匀。LazyWeights 保留 llama.cpp 的 GGUF 格式，只调整 GPTQ 让码更集中，再用可按 32 条并行通道解码的 Huffman 码无损压缩，并在 DRAM 与 L2 之间的小单元里按需解码，GPU 内核不变。在 1% 与 3.5% 困惑度预算下，编码后的 Phi-3-mini、Mistral-7B 和 SmolLM-1.7B 比最好的 llama.cpp 格式小 5.7–31.4%；在 Jetson Orin Nano Super 上，配合该解码单元，每 token 延迟与能耗最多降低 36% 和 38%。

边缘设备上的大模型权重格式给每个整数码分配相同位宽，而权重码本身分布并不均匀。LazyWeights 保留 llama.cpp 的 GGUF 格式，只调整 GPTQ 让码更集中，再用可按 32 条并行通道解码的 Huffman 码无损压缩，并在 DRAM 与 L2 之间的小单元里按需解码，GPU 内核不变。在 1% 与 3.5% 困惑度预算下，编码后的 Phi-3-mini、Mistral-7B 和 SmolLM-1.7B 比最好的 llama.cpp 格式小 5.7–31.4%；在 Jetson Orin Nano Super 上，配合该解码单元，每 token 延迟与能耗最多降低 36% 和 38%。

BitNest 提出一种位嵌套投机解码框架，先把低精度草稿直接嵌入高精度目标表示、再通过残差精修恢复高精度目标，使草稿与目标共享同一份物理权重表示，并将该渐进精度设计扩展到 KV 缓存以支持长上下文推理；在多个 7B–8B 边缘友好 LLM 和多样负载上，它取得平均 95.2% 的投机接受率、较好保持高精度模型质量，并相对 FP16 自回归解码获得 1.48–1.61 倍端到端加速，在全部代表性自投机基线均支持的 LLaMA 模型上也取得相当或更高的解码加速。

BitNest 提出一种位嵌套投机解码框架，先把低精度草稿直接嵌入高精度目标表示、再通过残差精修恢复高精度目标，使草稿与目标共享同一份物理权重表示，并将该渐进精度设计扩展到 KV 缓存以支持长上下文推理；在多个 7B–8B 边缘友好 LLM 和多样负载上，它取得平均 95.2% 的投机接受率、较好保持高精度模型质量，并相对 FP16 自回归解码获得 1.48–1.61 倍端到端加速，在全部代表性自投机基线均支持的 LLaMA 模型上也取得相当或更高的解码加速。