混合精度量化不再整层一刀切：A2BQ按注意力敏感度分块配比特，TinyLlama困惑度降到7.884
核心概要
大模型量化通常给整层统一比特宽度，忽略了同一层内不同权重块对量化噪声的敏感度差异。A2BQ用FP16模型在WikiText-2校准集上的后softmax注意力方差给每个128行权重块打分，在5.7比特平均预算下分配4/6/8比特，再按层敏感度与分配精度设定qLoRA+的LoRA秩。在TinyLlama-1.1B上，注意力范围、首尾各保护三层的配置取得7.884的测试困惑度与73.11 tokens/s解码吞吐，但运行时显存仍接近FP16，因为参考实现先把量化权重反量化成浮点缓冲再计算。
深度剖析
量化精度分配从整层一个比特宽度改为按128行权重块分别决定，同一Transformer层内可以同时出现4、6、8比特的块。 此前的混合精度或逐层量化方法按整层聚合的重要性指标给每层一个比特宽度，不刻画层内差异。 在1.1B到8B的五个模型上，A2BQ在5.7比特目标下得到5.69比特的实际平均位宽，但各模型的4/6/8比特块数分布明显不同，例如TinyLlama-1.1B在352个块中分给4、6、8比特的块数分别为123、159、70。
低秩适配的容量不再各层相同，而是随层的量化敏感度和被分配的比特宽度变化。 常规qLoRA对所有目标层使用固定秩，隐含假设每层从额外适配容量中获益相同。 TinyLlama-1.1B的秩映射包含154个模块级赋值，秩在11到19之间，可训练适配器参数为12,257,280个，而固定秩8的qLoRA基线为6,307,840个，因此这一比较针对完整自适应设计而非等参数预算。
在相同的最终混合比特策略与重写范围下，加入qLoRA+适配使五个模型的测试困惑度都低于只做混合比特重写。 只做混合比特重写时，TinyLlama-1.1B的困惑度为8.994，Qwen2.5-3B为9.077，Phi-3-mini-4k为7.884，Mistral-7B为6.938，LLaMA-3.1-8B为8.258。 对应的A2BQ+qLoRA+困惑度分别为7.884、8.335、6.922、6.571和7.501，全部在WikiText-2留出测试集上测得，分配图来自验证集。
打包权重的存储估计与运行时显存是两件事，前者按分配图估算，后者由反量化缓冲执行决定。 参考后端在推理前把重写后的权重重建为浮点张量，用标准浮点线性运算前向，而不是直接在物理打包的低比特权重上做矩阵乘。 按部署重写范围估算的整模型打包载荷相对FP16下降4.02%到7.90%，而TinyLlama-1.1B主要配置的实测峰值显存约2.08 GB，接近FP16的2.09 GB。
启示与展望
演示范围是TinyLlama-1.1B、Qwen2.5-3B、Phi-3-mini-4k、Mistral-7B与LLaMA-3.1-8B五个模型，校准与分配用WikiText-2验证集前200篇文档、最大长度512，困惑度在留出测试集上报告，硬件为单张80 GB H100。主要配置只重写注意力范围中满足输出维度条件的Q、O投影，并保护首尾各三层。
注意力导出的敏感度与量化后逐层KL散度只有中等且随架构变化的关联，TinyLlama-1.1B上Pearson为−0.667、Spearman为−0.400（16个活跃层），因此它被定位为分配信号而非分布偏移的预测器。Mistral-7B在适配后困惑度改善但平均KL散度上升，说明接近FP16预测分布并非下游质量的充分指标。块大小消融中三种设置的活跃区平均精度并不相同，因此该实验针对完整流水线而非等载荷比较。