Timur Mudarisov

该研究在不重训模型的前提下，在每个头、层和查询处只保留注意力权重最高的若干token并保持其原始权重不变，通过测量负对数似然（NLL）的上升来估计维持给定损失容差所需的“有效注意力集合大小”，发现较小的集合即可让NLL接近全注意力基线、基于注意力的选择明显优于随机选择、所需集合大小随上下文延长而增大但其占上下文的比例下降，并且在固定标注支持事实的BABILong实验中，额外背景会把支持token挤下注意力排名并降低其注意力质量，而对保留权重做重归一化可大幅减小所需集合大小。

该研究在不重训模型的前提下，在每个头、层和查询处只保留注意力权重最高的若干token并保持其原始权重不变，通过测量负对数似然（NLL）的上升来估计维持给定损失容差所需的“有效注意力集合大小”，发现较小的集合即可让NLL接近全注意力基线、基于注意力的选择明显优于随机选择、所需集合大小随上下文延长而增大但其占上下文的比例下降，并且在固定标注支持事实的BABILong实验中，额外背景会把支持token挤下注意力排名并降低其注意力质量，而对保留权重做重归一化可大幅减小所需集合大小。

该研究把每个上下文自身的最终残差状态与来自其他上下文的最终状态库作比较，在 Gemma-2B、Gemma-7B、Qwen2.5-1.5B、Qwen2.5-7B、Mistral-7B 和 Llama-3-8B 六个预训练模型上发现：自身终点在最早测量层就比平均替代终点更近，但许多单个替代终点仍更近；竞争者集合随深度总体缩小，却同时存在进入与退出，且方向对齐可以在欧氏距离几乎不变时改善；作者还给出一个高维模型分离范数、对齐与终点几何的作用，并证明朝自身终点的直线路径不会引入新竞争者。

该研究把每个上下文自身的最终残差状态与来自其他上下文的最终状态库作比较，在 Gemma-2B、Gemma-7B、Qwen2.5-1.5B、Qwen2.5-7B、Mistral-7B 和 Llama-3-8B 六个预训练模型上发现：自身终点在最早测量层就比平均替代终点更近，但许多单个替代终点仍更近；竞争者集合随深度总体缩小，却同时存在进入与退出，且方向对齐可以在欧氏距离几乎不变时改善；作者还给出一个高维模型分离范数、对齐与终点几何的作用，并证明朝自身终点的直线路径不会引入新竞争者。