注意力线性化不再一视同仁：少数离群维度单独分组，Qwen2.5-0.5B困惑度从31.71降到27.50
预训练注意力的近似误差集中在少数高贡献的查询—键维度上，按贡献分组共享系数的二次核在Qwen2.5-0.5B上把冻结注意力相对MSE降到0.432，并在替换中间层注意力后把WikiText-103困惑度从31.71降到27.50。
预训练注意力的近似误差集中在少数高贡献的查询—键维度上，按贡献分组共享系数的二次核在Qwen2.5-0.5B上把冻结注意力相对MSE降到0.432，并在替换中间层注意力后把WikiText-103困惑度从31.71降到27.50。
已读完全部报道