BitNest 把低精度草稿嵌入高精度目标权重，在 7B–8B 模型上实现 95.2% 接受率与 1.48–1.61 倍加速
相关研究与后续进展
核心概要
BitNest 提出一种位嵌套投机解码框架，先把低精度草稿直接嵌入高精度目标表示、再通过残差精修恢复高精度目标，使草稿与目标共享同一份物理权重表示，并将该渐进精度设计扩展到 KV 缓存以支持长上下文推理；在多个 7B–8B 边缘友好 LLM 和多样负载上，它取得平均 95.2% 的投机接受率、较好保持高精度模型质量，并相对 FP16 自回归解码获得 1.48–1.61 倍端到端加速，在全部代表性自投机基线均支持的 LLaMA 模型上也取得相当或更高的解码加速。
Figure 1: End-to-end decoding speedup across six workloads on LLaMA-2-7B and LLaMA-3-8B. All results are normalized to the corresponding 16-bit autoregressive baseline (1.0 × \times ).
arXiv深度剖析
提出位嵌套投机解码框架，将低精度草稿直接嵌入高精度目标表示之中，使草稿模型与目标模型共享单一物理权重表示。 既有方法通常需要额外的草稿模型或权重表示，在资源受限设备上带来不可忽略的内存开销；自投机方法虽降低该开销，却仍在草稿质量、目标质量与存储效率之间取舍。BitNest 改为先构造强低精度基座、再通过残差精修恢复高精度目标，而非从预定义目标派生草稿。 摘要层面给出框架设计与机制描述，并报告在多个 7B–8B 边缘友好 LLM 与多样负载上的平均投机接受率 95.2%，同时称其较好保持高精度模型质量。
把渐进精度设计进一步扩展到 KV 缓存，以服务长上下文推理。 将位嵌套的渐进精度思路从权重表示延伸到 KV 缓存，是相对仅处理权重侧开销的自投机方案的额外设计维度。 摘要明确陈述该扩展，但未给出 KV 缓存侧单独的量化结果。
在端到端解码速度上相对 FP16 自回归解码取得 1.48–1.61 倍加速，并在代表性自投机基线共同支持的 LLaMA 模型上取得相当或更高的解码加速。 把内存效率与解码加速放在同一框架内考察，并在与代表性自投机基线的可比模型集合上给出对比结论。 摘要报告 1.48–1.61 倍端到端加速区间，以及在与所有代表性自投机基线均支持的 LLaMA 模型上一致地相当或更高；具体基线清单、模型规模与负载构成未在摘要中展开。
启示与展望
该工作面向资源受限设备上的自回归生成加速，适用对象是 7B–8B 量级的边缘友好 LLM 与多样负载，并明确把长上下文推理纳入设计范围（KV 缓存的渐进精度扩展）。它要解决的问题是：在不引入额外草稿模型或权重表示的前提下，同时兼顾草稿质量、目标质量与存储效率。对读者而言，这意味着若关注端侧部署或长上下文服务的内存—延迟权衡，该框架提供了把草稿与目标压缩进同一份物理权重表示的思路；其报告的平均接受率 95.2% 与 1.48–1.61 倍端到端加速可作为评估是否值得进一步复现的起点。
摘要未给出逐模型的接受率与加速数值、基线清单与具体负载构成，也未说明 KV 缓存侧渐进精度的独立收益；此外，'较好保持高精度模型质量'的判定依据（评测集与指标）未在摘要中展开。这些属于范围与开放问题：读者若要判断该方法在自身模型与负载上的表现，仍需查阅正文中的实验设置与消融结果。