大模型4比特推理不再需要校准数据：权重误差最小化顺带给出激活缩放，MX与NV格式上追平SmoothQuant

大模型的权重和激活可以同时压到4比特，而不再需要一批代表性文本做校准。 此前的激活量化通常依赖校准数据，例如SmoothQuant用校准集统计每通道激活来构造缩放；免校准的旋转类方法QuaRot虽然不用数据，却不针对激活量化误差。 在Llama与Qwen两族模型、WikiText-2与C4困惑度以及MMLU、HellaSwag、PIQA、ARC-Easy、WinoGrande零样本准确率上，DualQuant在多数模型和格式上追平或超过基于校准的SmoothQuant，并明显优于免校准的QuaRot与SINQ+，在MX与NV块格式上差距尤其大。

做法是给权重同时配行缩放和列缩放，让量化误差分摊到两个方向，而不是只按行分块共享一个缩放。 标准块量化每行只用一个共享缩放，某个位置的离群值会抬高整块的缩放，列方向的结构完全没被处理。 行缩放和列缩放分别只开一个时都不如两者同时开启，两者叠加的改善大致可加，说明它们针对的是互补的误差来源。

列缩放之所以能当激活缩放用，是因为它由权重单独算出，却恰好压低了那些激活离群值集中的通道。 SmoothQuant的缩放来自校准集上的激活统计，信息从激活流向权重；DualQuant的列缩放只来自静态权重矩阵。 在固定量化权重、只比较激活量化信噪比的隔离实验中，加上列缩放后各投影的激活信噪比一致提高，提升最大的是激活离群最明显的k_proj与v_proj。

报道覆盖的是免校准的权重加激活训练后量化：在Llama与Qwen两族模型上，针对INT4、MXINT4、MXFP4与NVFP4四种4比特格式，用WikiText-2与C4困惑度以及MMLU、HellaSwag、PIQA、ARC-Easy、WinoGrande零样本准确率衡量，并在单张RTX 4090上验证了Llama-3.1-8B的真实打包W4A4推理路径。适合做低比特推理部署与量化算法的人阅读。

列缩放与SmoothQuant校准缩放之间的相关性随投影不同而不同，论文明确说明这种相关性只是描述性的，不代表两者量化行为等价。SINQ+在MX与NV格式上的结果来自作者自己的扩展，未经原方法作者验证，只能当作尽力而为的基线。真实打包路径目前只在Llama-3.1-8B的INT4分组设置上验证。