跳到主要内容
检索

Yanlong Chen

1 篇关联报道

订阅更新
  1. arXiv

    PrismQuant 把激活主能量旋进分组量化的零空间,在 Llama-3.1-70B 上以 W4A4KV4 达到 3.85 困惑度、仅比全精度低 0.22 个百分点

    该工作提出 PrismQuant:把旋转设计与分组非对称 INT4 量化器自身的“组内常数子空间”对齐,将旋转设计写成 Ky Fan 迹最大化并给出闭式最优解,用紧凑 Householder(compact-WY)实现、无需梯度训练,在 Llama、Qwen、Mistral 上(含 70B 稠密模型与 30B 混合专家模型)做 W4A4KV4 实验,Llama-3.2-3B 上在困惑度与准确率上优于所比较方法,Llama-3.1-70B 上取得 3.85 困惑度与 72.46% 平均零样本准确率(比全精度低 0.22 个百分点),并在 Llama-3.1-8B 部署研究中相对匹配 FP16 基线取得预填充与 CUDA Graph 解码加速、解码峰值内存

已读完全部报道