Mukund Agarwalla

TopK-Guided 是一种免训练激活稀疏方法，把有界的 token 级稀疏自适应与敏感度感知的块级预算分配结合起来，在 Llama-2 和 Llama-3 上相对 TEAL 与 WINA 一致改善困惑度和下游准确率，同时保持与 WINA 基本相同的稀疏相关投影计算量，且在高稀疏度下增益最大；消融显示两个组件提供互补改进。

TopK-Guided 是一种免训练激活稀疏方法，把有界的 token 级稀疏自适应与敏感度感知的块级预算分配结合起来，在 Llama-2 和 Llama-3 上相对 TEAL 与 WINA 一致改善困惑度和下游准确率，同时保持与 WINA 基本相同的稀疏相关投影计算量，且在高稀疏度下增益最大；消融显示两个组件提供互补改进。