混合精度量化不再整层一刀切：A2BQ按注意力敏感度分块配比特，TinyLlama困惑度降到7.884
大模型量化通常给整层统一比特宽度，忽略了同一层内不同权重块对量化噪声的敏感度差异。A2BQ用FP16模型在WikiText-2校准集上的后softmax注意力方差给每个128行权重块打分，在5.7比特平均预算下分配4/6/8比特，再按层敏感度与分配精度设定qLoRA+的LoRA秩。在TinyLlama-1.1B上，注意力范围、首尾各保护三层的配置取得7.884的测试困惑度与73.11 tokens/s解码吞吐，但运行时显存仍接近FP16，因为参考实现先把量化权重反量化成浮点缓冲再计算。