# 非线性注意力

该研究在受控的上下文学习任务中比较线性与非线性注意力，发现非线性注意力能选择性聚焦相关词元，使强、弱谱方向并行学习，损失随深度呈反比衰减，而线性注意力的深度缩放依赖数据谱并很快进入平台。

该研究在受控的上下文学习任务中比较线性与非线性注意力，发现非线性注意力能选择性聚焦相关词元，使强、弱谱方向并行学习，损失随深度呈反比衰减，而线性注意力的深度缩放依赖数据谱并很快进入平台。