Konstantin Berestizshevsky

该工作提出 Top-Theta（Top-j）注意力，一种免训练、在推理阶段用按注意力头校准的静态阈值替代 top-k 搜索来稀疏化注意力元素的方法，并引入 softmax 分母补偿（SDC）与 V 均值补偿（VMC）以维持精度，在 LLaMA2/LLaMA3 的问答、代码生成与长文本摘要任务上实现 3–10 倍 V-cache 行数减少、最多 10 倍注意力元素减少，精度下降不超过 1%。

该工作提出 Top-Theta（Top-j）注意力，一种免训练、在推理阶段用按注意力头校准的静态阈值替代 top-k 搜索来稀疏化注意力元素的方法，并引入 softmax 分母补偿（SDC）与 V 均值补偿（VMC）以维持精度，在 LLaMA2/LLaMA3 的问答、代码生成与长文本摘要任务上实现 3–10 倍 V-cache 行数减少、最多 10 倍注意力元素减少，精度下降不超过 1%。