Beijing Normal-Hong Kong Baptist University

非前缀KV缓存复用把检索到的块各自编码再拼接，会丢掉19%到100%依赖上下文的正确回答，同类干扰块还会加重损失。研究比较了把有限修复预算花在干扰块还是答案块上：恢复全部干扰块需要接近一次完整预填充，而把预算用于重算答案块，在开放域问答与API文档的九个设置中，5%预算下均胜过按token挑选的修复方法。

非前缀KV缓存复用把检索到的块各自编码再拼接，会丢掉19%到100%依赖上下文的正确回答，同类干扰块还会加重损失。研究比较了把有限修复预算花在干扰块还是答案块上：恢复全部干扰块需要接近一次完整预填充，而把预算用于重算答案块，在开放域问答与API文档的九个设置中，5%预算下均胜过按token挑选的修复方法。

多语言重叠语音的目标说话人提取不再对每个输入用同一套计算深度。此前固定深度前端要么对困难输入处理不足，要么在已收敛的输入上重复精修。LATTE 用难度估计器为每个混合语音选择两、四或六块共享提取块，在 PolyExtract 八语言基准上以 0.30 GFLOPs 取得 15.07 dB 宏平均 SI-SNRi，比 0.53 GFLOPs 的固定深度路径低 0.09 dB 以内，计算量减少 43.4%；接在冻结的 Qwen3-Omni 前，平均词错率从 TF-GridNet 的 16.8% 降到 14.6%。

多语言重叠语音的目标说话人提取不再对每个输入用同一套计算深度。此前固定深度前端要么对困难输入处理不足，要么在已收敛的输入上重复精修。LATTE 用难度估计器为每个混合语音选择两、四或六块共享提取块，在 PolyExtract 八语言基准上以 0.30 GFLOPs 取得 15.07 dB 宏平均 SI-SNRi，比 0.53 GFLOPs 的固定深度路径低 0.09 dB 以内，计算量减少 43.4%；接在冻结的 Qwen3-Omni 前，平均词错率从 TF-GridNet 的 16.8% 降到 14.6%。

该工作对稀疏注意力做统一理论分析：证明全注意力与稀疏注意力之间的Jensen–Shannon散度仅由被丢弃的截断质量决定并给出闭式表达，在注意力分数为独立同分布次高斯假设下用次序统计量证明截断质量的高概率下界随序列长度增长而增大，同时用Rademacher复杂度与Xu–Raginsky互信息加熵和覆盖数分析给出随稀疏度收紧的泛化界，并在GPT-2(124M)与WikiText-103上验证闭式散度与信息损失随序列增长的趋势。

该工作对稀疏注意力做统一理论分析：证明全注意力与稀疏注意力之间的Jensen–Shannon散度仅由被丢弃的截断质量决定并给出闭式表达，在注意力分数为独立同分布次高斯假设下用次序统计量证明截断质量的高概率下界随序列长度增长而增大，同时用Rademacher复杂度与Xu–Raginsky互信息加熵和覆盖数分析给出随稀疏度收紧的泛化界，并在GPT-2(124M)与WikiText-103上验证闭式散度与信息损失随序列增长的趋势。