# 零空间感知二值分解

大模型二值化后训练量化长期存在隐性开销：缩放因子、分组参数和离群索引让标称1比特的权重实际落在2到4比特。AF1用双因子二值分解配合零空间补偿压低离散投影误差，再用分层Shapley分配结构预算，在目标线性权重严格1.0有效BPW下完成量化。LLaMA-3-70B上它取得61.80的七任务零样本平均准确率和8.91的WikiText2困惑度，高于3.25比特的HBLLM基线。

大模型二值化后训练量化长期存在隐性开销：缩放因子、分组参数和离群索引让标称1比特的权重实际落在2到4比特。AF1用双因子二值分解配合零空间补偿压低离散投影误差，再用分层Shapley分配结构预算，在目标线性权重严格1.0有效BPW下完成量化。LLaMA-3-70B上它取得61.80的七任务零样本平均准确率和8.91的WikiText2困惑度，高于3.25比特的HBLLM基线。