OSFP4 联合优化对角平滑与分块缩放,在 Llama-3.1-8B-Instruct 上取得 77.03 的 W4A4 平均准确率并保留约 94-97% 的 NVFP4 预填充吞吐
该工作提出 OSFP4:通过分析乘性抖动 FP4 量化器,得到可微的矩阵乘积量化误差近似,据此对每个线性投影联合优化对角平滑矩阵与权重分块缩放,并针对 RTN 或 GPTQ 式 SIC 舍入分别构造损失;在 Llama-3.1-8B-Instruct 上,W4A4 配置取得所评估方法中最高的平均准确率,同时保留约 94-97% 的厂商 NVFP4 预填充吞吐。