Yanlong Zhao

作者发现权重仅量化 PTQ 中校准数据上更低的重建损失并不保证更好的模型表现，甚至可能在同一校准数据上变差；他们据此提出 DRQ，在受限的输入激活分布集合上最小化最坏情况重建损失，仅更新量化权重的整数编码而保持位宽、分组、缩放与零点不变，在六种 PTQ 方法以及稠密与 MoE 模型上同时降低困惑度并提升平均任务准确率，且不增加推理开销。

作者发现权重仅量化 PTQ 中校准数据上更低的重建损失并不保证更好的模型表现，甚至可能在同一校准数据上变差；他们据此提出 DRQ，在受限的输入激活分布集合上最小化最坏情况重建损失，仅更新量化权重的整数编码而保持位宽、分组、缩放与零点不变，在六种 PTQ 方法以及稠密与 MoE 模型上同时降低困惑度并提升平均任务准确率，且不增加推理开销。