专家剪枝不再逐个打分：HOPE把专家配对关系算进去，50%剪枝下智能体编程反超未剪枝模型
核心概要
混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按独立重要性分数删专家是常见做法。HOPE把剪枝误差写成专家对之间的交互项，用二次规划一次性选出整组要删的专家，在三个模型、两套校准数据和多个基准上取得最佳平均排名。在Qwen3.5-35B-A3B上剪掉50%专家后，SWE-Bench Pro得分为42.3，与未剪枝模型的41.8相当，而一阶方法REAP降到36.2。
深度剖析
混合专家语言模型的显存开销主要来自推理时全部专家都要驻留，而每个词元只激活少数专家，HOPE把“删哪些专家”从逐个打分改成在专家配对关系上整体求解。 此前的专家剪枝方法给每个专家一个标量重要性分数，按层独立删掉分数最低的专家，前提是各专家的贡献互不影响。 在Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air三个模型、Evol-CodeAlpaca与SWE-Bench Verified轨迹两套校准数据、10%到50%的剪枝率上，HOPE对四个一阶基线取得2.07的平均排名（共5种方法），39%的条件下排名第一。
HOPE把剪枝造成的层输出变化用一个可计算的替代量来约束，这个替代量展开后自然带出专家两两之间的交叉项。 该替代量是剪枝误差主导部分的严格上界，其平方和形式中的非对角项度量两个专家被同一词元共同激活时的平均门控加权输出乘积。 在GLM-4.5-Air的交互矩阵上可以看到沿对角线的亮块，说明专家按层形成合作簇；该矩阵对角元几乎完全复现REAP的专家排序（Spearman ρ = 0.988），因此相对REAP的提升来自非对角项。
求解时把选哪些专家表示成0/1向量，最小化该替代量在校准集上的期望，化成一个二次规划。 直接最小化剪枝误差不可行，因为误差取决于替补专家的身份，而替补又取决于被删集合本身。 二次规划经连续松弛后取整得到剪枝集合，每层求解耗时1到2秒，与一阶方法相比额外开销可忽略，因为校准前向传播占主要时间。
启示与展望
演示范围是Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air三个模型，校准数据为Evol-CodeAlpaca与SWE-Bench Verified轨迹，评测使用Tulu3套件和SWE-Bench Pro，剪枝率覆盖10%到50%。
HOPE的优势在40%到50%的高剪枝率下最明显，在10%到20%的低剪枝率下REAP和MAN有时与之相当，优势缩小。HOPE按层独立剪枝，不考虑跨层交互，跨层版本的理论框架已有但结果仍属初步；方法只刻画两两交互，三阶及更高阶交互可能提供额外信号，但组合上难以估计。