注意力线性化不再一视同仁：少数离群维度单独分组，Qwen2.5-0.5B困惑度从31.71降到27.50

注意力线性化把softmax注意力换成可分离的查询、键特征，从而按序列长度线性计算，但换掉之后预训练注意力的行为能否保住一直是难点。 此前的线性化方法用向量级特征映射或对聚合后的查询—键得分做低阶多项式，参数化并没有围绕各查询—键维度的贡献差异来组织。 在Qwen2.5-0.5B冻结注意力状态上，OAL的注意力输出相对MSE为0.432，低于DiJiang的0.474、TaylorShift的0.490、Performer的0.569和SpectraFormer的0.585。

方法把二次核的系数按维度拆开，让少数贡献特别大的维度用与其他维度不同的系数，同时保持可分离求值。 全局二次核让所有线性项共享一个系数、所有二次交互共享一个系数，OAL则放松这一共享，为每个维度和维度对引入独立系数。 在Qwen2.5-0.5B与Llama-3.2-1B上，替换中间层注意力并用相同LoRA预算联合微调后，OAL的WikiText-103困惑度分别为27.50和32.99，低于学习到的全局二次核的31.71和36.03，也低于Performer、SpectraFormer、DiJiang与TaylorShift。

维度按校准贡献得分排序后分组，贡献相近的维度共享系数，高贡献尾部单独细分，组数在拟合与适配期间固定不变。 完全按维度独立的二次核需要大量系数，而贡献分布显示大部分灵活性可以共享。 Qwen2.5-0.5B每个头得到2至5组，Llama-3.2-1B为2至4组；在代表性头上，少量分组已能拿到大部分误差下降，继续增加组数收益递减。

报告的范围是0.5B至1B的骨干：Qwen2.5-0.5B与Llama-3.2-1B，采用保留首尾softmax层的混合替换协议，并在WikiText-103上以匹配的LoRA预算适配。冻结注意力保真度在Qwen2.5-0.5B Base的第4、12、20层全部查询头上评估，查询与键取RoPE之后。运行时与显存测量是注意力算子层面的前向测量，不是端到端模型延迟或逐token解码延迟。作者提出后续在更大规模和更长上下文的模型上评估OAL，并探索更紧凑的二次循环状态实现。

实验只覆盖0.5B至1B骨干，更大规模上的表现尚未验证。相对LoRA适配的softmax参考，两个骨干上仍存在转换差距。运行时与显存对比反映的是各自实现，数值精度与优化程度不同，因此跨方法差距不能只归因于核的形式。分组预算诊断只针对一个代表性头，且运行时基准使用固定的五组配置，并未执行转换模型中所有已校准头的异构分组配置。