跳到主要内容
检索

Donghyun Lee

1 篇关联报道

订阅更新
  1. arXiv

    SoloQ 用免校准旋转量化把扩散语言模型压到 4 比特,在 LLaDA、Dream、Fast-dLLM v2 与 Nemotron-Labs-Diffusion 上保持精度并超过需校准基线

    作者提出 SoloQ:用 K-RPBH 旋转把权重与激活映射到可预测的近似高斯分布,配合仅尺度偏差校正实现免校准 4 比特量化,并对块扩散模型在块提交时量化 KV 缓存;在 LLaDA-Base、LLaDA-1.5、Dream-7B、Fast-dLLM v2 与 Nemotron-Labs-Diffusion 上,SoloQ-C 与 SoloQ-N 在 W4A4 及 W4A4KV4 下保持精度,平均分超过 DLLMQuant++、STaR-Quant、FAIR-Calib 等需校准基线,NVFP4 路径还降低峰值内存并加速端到端推理。

已读完全部报道