剪枝校准不再读固定文本:改用模型自己生成的解码激活,Qwen3-32B写作分从2.99升到5.31
LLM剪枝的校准激活改从稠密模型自回归解码步收集并丢弃预填充,使剪枝目标对齐生成时的激活分布,在WritingBench与ClassEval上稳定优于固定文本校准,并在A100上取得最高1.48倍端到端解码加速。
LLM剪枝的校准激活改从稠密模型自回归解码步收集并丢弃预填充,使剪枝目标对齐生成时的激活分布,在WritingBench与ClassEval上稳定优于固定文本校准,并在A100上取得最高1.48倍端到端解码加速。
已读完全部报道