大模型权重压到真1比特：AF1在LLaMA-3-70B上零样本61.80，显存省九成
核心概要
大模型二值化后训练量化长期存在隐性开销：缩放因子、分组参数和离群索引让标称1比特的权重实际落在2到4比特。AF1用双因子二值分解配合零空间补偿压低离散投影误差，再用分层Shapley分配结构预算，在目标线性权重严格1.0有效BPW下完成量化。LLaMA-3-70B上它取得61.80的七任务零样本平均准确率和8.91的WikiText2困惑度，高于3.25比特的HBLLM基线。
深度剖析
大模型权重可以只按1比特存储，而不必靠额外的缩放因子、分组参数或离群索引把有效位宽推高。 此前的二值化后训练量化方法虽然标称1比特，但端到端有效BPW常进入2到4比特区间；量化感知训练能得到真正的1比特表示，却依赖大规模训练数据和长时间优化。 在LLaMA-3-70B上，AF1在目标线性权重1.0有效BPW下取得61.80的七任务零样本平均准确率和8.91的WikiText2困惑度，高于3.25比特的HBLLM基线。
量化过程把每个线性权重拆成两个二值符号矩阵相乘，中间夹一层可学习的连续缩放向量，从而在二值约束下获得更多可表达的量级结构。 单矩阵二值化把权重近似为一个缩放后的二值矩阵，其幅值矩阵只能取秩一形式，难以拟合大模型权重复杂的量级分布。 在LLaMA-3.2-3B的消融中，仅启用零空间感知二值分解就把WikiText2困惑度从8.9e2降到30.47，七任务平均准确率达到40.79。
结构预算按层和层内子模块两级分配，把有限的中间维度集中给对量化误差最敏感的部分。 统一位宽配置忽略不同层和子模块对二值化误差的敏感度差异，而只看局部敏感度的估计又无法反映跨层误差传播。 在LLaMA-3.2-3B上叠加两级分配后，困惑度进一步降到24.21，平均准确率升到43.09；在1.00比特预算下，LLaMA-3-8B的困惑度从统一分配的35.84降到22.18。
量化只需数小时GPU时间，推理时显存和带宽占用大幅下降。 量化感知训练方法在接近1比特时困惑度更低，但需要数百到数千GPU小时，难以扩展。 在LLaMA-2-7B上，AF1用5.9 GPU小时把困惑度从ARB-LLM的16.44降到11.20，比LittleBit快约40倍、比OneBit快约228倍；在批量1、1024词元预填充和4096词元解码的设置下，三个模型平均比BF16省约90%显存、比GPTQ-W4省约68%，解码吞吐约为BF16的2.5倍。
启示与展望
结果针对目标线性权重的纯权重量化，在1.0有效BPW预算下评测；实验覆盖LLaMA、Qwen、Gemma的代表性模型和标准语言基准，效率数据来自批量1、1024词元预填充、4096词元解码的GPU实现。
该方法不直接压缩激活值和KV缓存，而这两者在长上下文或大批量服务中可能变得重要；效率评测基于带优化二值矩阵乘法的代表性GPU实现，进一步集成到更广泛的推理栈仍是后续方向；实验限于LLaMA、Qwen、Gemma和标准语言基准，更多架构、更广的指令微调变体和真实部署负载尚待验证。