MLP线性化改用低次有理逼近：Qwen3-8B替换最后八个前馈层，参数少14%而吞吐更高
核心概要
多层感知机的线性化不再只靠多项式随机特征，而是用低次有理函数逼近激活函数，再借部分分式把每层拆成权重侧与输入侧可分离的内积。在合成拟合、视觉、三维与语言模型上，这一路线在同等特征预算下取得更低误差；压缩Qwen3-8B时替换最后八个前馈层可移除1.17B参数（占模型14%），解码吞吐从763.3升至809.6 token/s，推理与知识基准与未压缩模型大致持平。
深度剖析
前馈层的线性化现在可以建立在低次有理逼近之上，而不是只依赖多项式或傅里叶随机特征。 此前的线性化路线要么受限于激活函数的傅里叶变换（如ReLU这类无界函数），要么用多项式逼近，而多项式在激活函数取值变大时会发散。 在合成实验中，同一特征预算下比较全连接层输出与线性化预测的均方误差，有理线性化在全部测试激活函数上都取得更低误差。
做法是把激活函数写成部分分式，再对每一块分别构造可分离特征。 部分分式把有理函数拆成一个多项式部分和若干不可约二次项，后者对应分母无实根的共轭极点对。 不可约二次项先用高斯–拉盖尔节点做频率求积，再用Performers式的softmax核随机特征逐频率估计余弦与正弦分量，从而把权重与输入分离成两个特征映射的内积。
有理块与多项式块的误差和方差由不同量控制，因此增加极点可以降低逼近误差而不抬高方差。 多项式块要达到更高精度，其相对方差随次数指数增长，成本迅速上升。 理论分析给出总误差由有理拟合误差、求积截断误差和有限投影数三项组成，其中有理块的方差只由输入尺度决定，与极点数目无关。
启示与展望
演示范围覆盖合成前馈层拟合、ViT在CIFAR-100、Places365、ImageNet-1k与VTAB-1k上的分类与迁移、PTv3三维语义分割、NeRF与SIREN坐标网络、Burgers方程的物理信息网络，以及GPT-2 Large预训练和Qwen3-8B压缩。压缩Qwen3-8B时替换最后四个或最后八个前馈层，配合监督微调与在策略蒸馏恢复精度。适合关注前馈层效率与推理部署的研究人员和工程师阅读。
有理块的方差依赖输入尺度，尺度选择不当会让特征指数膨胀，因此需要按层校准。在VTAB-1k这类每任务仅1000个训练样本的设置下，逼近误差更难被少量数据补偿。压缩Qwen3-8B时，AIME等长链基准上的pass@16与稠密模型保持接近，说明底层能力大体保留；误差随生成长度累积，蒸馏阶段主要缓解这一长度相关误差。