剪枝校准不再读固定文本：改用模型自己生成的解码激活，Qwen3-32B写作分从2.99升到5.31

剪枝校准不再使用预先收集的固定自然文本，而是使用稠密模型在自回归生成过程中逐token产生的层输入激活，只保留解码步、丢弃预填充步。 此前的免训练剪枝方法用C4等固定序列在teacher forcing下收集校准激活，而解码时模型吃的是自己生成的token，两者存在分布偏移。 在Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B/32B上，同一SparseGPT后端、同一保留权重比例下，SparseDecoding在WritingBench总体分上全面高于C4校准，例如Qwen3-32B在2:4稀疏下从2.99升到5.31。

解码阶段的核心线性层运算更接近稀疏矩阵乘向量而非稀疏矩阵乘矩阵，因此需要专门的SpMV执行路径才能把稀疏度变成实际延迟下降。 现有稀疏Tensor Core库主要面向SpMM，在预填充阶段有加速，但在解码阶段吞吐只有稠密执行的很小一部分。 在NVIDIA A100上以GPT-Fast框架测量，四种N:M模式在Llama-3.1-8B、Llama-3.3-70B、Qwen3-14B、Qwen3-32B上分别取得约1.42、1.39至1.48、1.34至1.35、1.45倍的端到端解码加速。

稀疏模式用位掩码表示，每行只需固定步数即可遍历完所有非零元。 通用稀疏格式需要为每个非零元单独存储列索引或局部偏移，元数据开销大且各行步数不一。 在50%稀疏下，位掩码表示每个非零元只占1比特元数据，相比int32索引和uint8偏移分别减少32倍和8倍；每个对齐的32位掩码字恰好含16个置位，使每行遍历步数在编译期固定并可完全展开。

报道覆盖的是免训练逐层剪枝这一设定：校准激活取自被剪稠密模型自身的自回归解码步，预填充激活被丢弃，求解器沿用SparseGPT或Wanda等OBS类后端。评测对象是Llama-3.1-8B、Llama-3.3-70B与Qwen3-14B/32B四个指令微调模型，基准为WritingBench与ClassEval，硬件为NVIDIA A100 80GB，速度测量基于GPT-Fast框架。适合关注长输出推理部署与后训练压缩的读者。

作者报告校准激活的分布偏移在自回归解码早期迅速上升，并在最初12个解码步内达到各层最终平台值的至少一部分，之后基本稳定。跨模型校准的消融显示，用更大的32B模型生成token来剪14B模型，效果低于自生成token，说明校准数据与被剪模型之间的分布一致性是一个起作用的条件。这些结论限于所评测的模型、稀疏模式与基准。