Universal Attention 用复合衰减门实现超 10 倍 KV-cache 压缩，并在 RULER 上超过未剪枝 Llama3
该工作提出 Universal Attention，把查询感知、键感知与相似度三类衰减机制以几何平均组合成注意力矩阵的加性偏置，在保留 RoPE 与 Softmax 的前提下让模型自适应剪枝 KV-cache；在 1B、50B token 训练的 Llama3 架构上实现超过 10 倍压缩，RULER 平均分 50.3/49.3 高于未剪枝 Llama3 的 40.8，缓存仅 21.4/12.9 MB。