arXiv 2026年10月5日BitNest 提出一种位嵌套投机解码框架，先把低精度草稿直接嵌入高精度目标表示、再通过残差精修恢复高精度目标，使草稿与目标共享同一份物理权重表示，并将该渐进精度设计扩展到 KV 缓存以支持长上下文推理；在多个 7B–8B 边缘友好 LLM 和多样负载上，它取得平均 95.2% 的投机接受率、较好保持高精度模型质量，并相对 FP16 自回归解码获得 1.48–1.61 倍端到端加速，在全部代表性自投机基线均支持的 LLaMA 模型上也取得相当或更高的解码加速。BitNest 提出一种位嵌套投机解码框架，先把低精度草稿直接嵌入高精度目标表示、再通过残差精修恢复高精度目标，使草稿与目标共享同一份物理权重表示，并将该渐进精度设计扩展到 KV 缓存以支持长上下文推理；在多个 7B–8B 边缘友好 LLM 和多样负载上，它取得平均 95.2% 的投机接受率、较好保持高精度模型质量，并相对 FP16 自回归解码获得 1.48–1.61 倍端到端加速，在全部代表性自投机基线均支持的 LLaMA 模型上也取得相当或更高的解码加速。BitNest 把低精度草稿嵌入高精度目标权重，在 7B–8B 模型上实现 95.2% 接受率与 1.48–1.61 倍加速BitNest 提出一种位嵌套投机解码框架，先把低精度草稿直接嵌入高精度目标表示、再通过残差精修恢复高精度目标，使草稿与目标共享同一份物理权重表示，并将该渐进精度设计扩展到 KV 缓存以支持长上下文推理；在多个 7B–8B 边缘友好 LLM 和多样负载上，它取得平均 95.2% 的投机接受率、较好保持高精度模型质量，并相对 FP16 自回归解码获得 1.48–1.61 倍端到端加速，在全部代表性自投机基线均支持的 LLaMA 模型上也取得相当或更高的解码加速。BitNest 提出一种位嵌套投机解码框架，先把低精度草稿直接嵌入高精度目标表示、再通过残差精修恢复高精度目标，使草稿与目标共享同一份物理权重表示，并将该渐进精度设计扩展到 KV 缓存以支持长上下文推理；在多个 7B–8B 边缘友好 LLM 和多样负载上，它取得平均 95.2% 的投机接受率、较好保持高精度模型质量，并相对 FP16 自回归解码获得 1.48–1.61 倍端到端加速，在全部代表性自投机基线均支持的 LLaMA 模型上也取得相当或更高的解码加速。