# 激活稀疏性

该工作提出 SpAx，把激活稀疏中“是否读取某个权重”的二元选择改为三档处理——对激活最接近零的权重完全跳过、对较小幅值激活对应的权重读取压缩近似表示、对最大幅值激活对应的权重读取原始权重，从而在权重卸载到 CPU 内存或闪存时提升解码速度：卸载到 CPU 内存时 16 位权重平均加速 3.86 倍（最高 5.57 倍）、4 位权重平均 2.06 倍（最高 2.74 倍），卸载到闪存时分别为平均 3.31 倍（最高 4.81 倍）和平均 1.54 倍（最高 2.03 倍），WikiText-2 困惑度增幅最多 10%。

该工作提出 SpAx，把激活稀疏中“是否读取某个权重”的二元选择改为三档处理——对激活最接近零的权重完全跳过、对较小幅值激活对应的权重读取压缩近似表示、对最大幅值激活对应的权重读取原始权重，从而在权重卸载到 CPU 内存或闪存时提升解码速度：卸载到 CPU 内存时 16 位权重平均加速 3.86 倍（最高 5.57 倍）、4 位权重平均 2.06 倍（最高 2.74 倍），卸载到闪存时分别为平均 3.31 倍（最高 4.81 倍）和平均 1.54 倍（最高 2.03 倍），WikiText-2 困惑度增幅最多 10%。

TopK-Guided 是一种免训练激活稀疏方法，把有界的 token 级稀疏自适应与敏感度感知的块级预算分配结合起来，在 Llama-2 和 Llama-3 上相对 TEAL 与 WINA 一致改善困惑度和下游准确率，同时保持与 WINA 基本相同的稀疏相关投影计算量，且在高稀疏度下增益最大；消融显示两个组件提供互补改进。

TopK-Guided 是一种免训练激活稀疏方法，把有界的 token 级稀疏自适应与敏感度感知的块级预算分配结合起来，在 Llama-2 和 Llama-3 上相对 TEAL 与 WINA 一致改善困惑度和下游准确率，同时保持与 WINA 基本相同的稀疏相关投影计算量，且在高稀疏度下增益最大；消融显示两个组件提供互补改进。