arXiv 2026年10月6日该工作对稀疏注意力做统一理论分析：证明全注意力与稀疏注意力之间的Jensen–Shannon散度仅由被丢弃的截断质量决定并给出闭式表达，在注意力分数为独立同分布次高斯假设下用次序统计量证明截断质量的高概率下界随序列长度增长而增大，同时用Rademacher复杂度与Xu–Raginsky互信息加熵和覆盖数分析给出随稀疏度收紧的泛化界，并在GPT-2(124M)与WikiText-103上验证闭式散度与信息损失随序列增长的趋势。该工作对稀疏注意力做统一理论分析：证明全注意力与稀疏注意力之间的Jensen–Shannon散度仅由被丢弃的截断质量决定并给出闭式表达，在注意力分数为独立同分布次高斯假设下用次序统计量证明截断质量的高概率下界随序列长度增长而增大，同时用Rademacher复杂度与Xu–Raginsky互信息加熵和覆盖数分析给出随稀疏度收紧的泛化界，并在GPT-2(124M)与WikiText-103上验证闭式散度与信息损失随序列增长的趋势。稀疏注意力理论分析：JS散度由截断质量唯一决定，且随序列变长信息损失增大、泛化界更紧该工作对稀疏注意力做统一理论分析：证明全注意力与稀疏注意力之间的Jensen–Shannon散度仅由被丢弃的截断质量决定并给出闭式表达，在注意力分数为独立同分布次高斯假设下用次序统计量证明截断质量的高概率下界随序列长度增长而增大，同时用Rademacher复杂度与Xu–Raginsky互信息加熵和覆盖数分析给出随稀疏度收紧的泛化界，并在GPT-2(124M)与WikiText-103上验证闭式散度与信息损失随序列增长的趋势。该工作对稀疏注意力做统一理论分析：证明全注意力与稀疏注意力之间的Jensen–Shannon散度仅由被丢弃的截断质量决定并给出闭式表达，在注意力分数为独立同分布次高斯假设下用次序统计量证明截断质量的高概率下界随序列长度增长而增大，同时用Rademacher复杂度与Xu–Raginsky互信息加熵和覆盖数分析给出随稀疏度收紧的泛化界，并在GPT-2(124M)与WikiText-103上验证闭式散度与信息损失随序列增长的趋势。