专家剪枝不再逐个打分：HOPE把专家配对关系算进去，50%剪枝下智能体编程反超未剪枝模型
核心概要
混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按重要性逐个删除专家是常见压缩手段。HOPE把剪枝误差写成专家两两交互项之和，用校准数据构造交互矩阵并求解二次规划来选剪枝集合。在Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air上，50%剪枝时HOPE平均排名1.58，优于次优方法REAP的2.42；Qwen3.5-35B-A3B在SWE-Bench Pro上得42.3，与未剪枝的41.8相当，而REAP降至36.2。
深度剖析
专家剪枝从给每个专家单独打一个重要性分数，改为同时考虑专家之间的配对合作关系，在剪枝比例较高时保住成组协同的专家。 此前的剪枝方法假设每个专家的贡献彼此独立，按标量分数在每层内独立排序删除，不考虑专家被共同激活形成的稳定合作组。 在3个模型、2个校准数据集和从10%到50%的剪枝率上，HOPE在全部条件中的平均排名为2.07（共5种方法），39%的条件取得第一、67%的条件进入前二。
HOPE把剪枝造成的层输出变化写成一个可计算的替代量，其展开式自然产生专家两两之间的交叉项。 直接最小化剪枝误差不可行，因为误差取决于被删专家由哪些次高门控专家替补，而替补又取决于剪枝集合本身。 HOPE用校准集上的门控权重与专家输出范数构造交互矩阵F，对角元衡量单个专家重要性，非对角元衡量成对合作贡献，再以连续松弛求解二次规划，每层耗时1至2秒。
HOPE与一阶方法REAP的差别集中在非对角交互项上，剪枝时它宁可放弃部分单独得分高的专家，也要保留合作紧密的专家群。 F矩阵的对角元几乎完全复现REAP的专家排序，两者Spearman相关系数为0.988，因此性能差异来自成对交互项。 在HOPE与REAP选择不同的专家中，仅被HOPE保留的专家其与其他保留专家的平均合作分数始终更高。
启示与展望
演示范围是Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air三个模型，校准数据为Evol-CodeAlpaca与SWE-Bench Verified轨迹，评测使用Tulu3套件和SWE-Bench Pro，剪枝率覆盖10%至50%，每层独立剪枝。
在10%至20%的低剪枝率下，REAP和MAN等一阶方法有时仍有竞争力，HOPE的优势会缩小；HOPE逐层独立剪枝，不考虑跨层交互，跨层版本虽有理论框架但结果仍属初步；方法只刻画成对交互，三阶及更高阶交互可能提供额外信号，但组合上难以估计。