混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按重要性逐个删除专家是常见压缩手段。HOPE把剪枝误差写成专家两两交互项之和，用校准数据构造交互矩阵并求解二次规划来选剪枝集合。在Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air上，50%剪枝时HOPE平均排名1.58，优于次优方法REAP的2.42；Qwen3.5-35B-A3B在SWE-Bench Pro上得42.3，与未剪枝的41.8相当，而REAP降至36.2。
混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按独立重要性分数删专家是常见做法。HOPE把剪枝误差写成专家对之间的交互项，用二次规划一次性选出整组要删的专家，在三个模型、两套校准数据和多个基准上取得最佳平均排名。在Qwen3.5-35B-A3B上剪掉50%专家后，SWE-Bench Pro得分为42.3，与未剪枝模型的41.8相当，而一阶方法REAP降到36.2。
该工作提出动态专家剪枝（DEP）：分析显示多智能体系统中不同任务与角色会调用不同专家，而静态剪枝对所有请求使用同一固定掩码；DEP利用智能体的系统提示与任务提示，经一次前向传播生成按请求定制的专家掩码，无需逐配置校准，在多种任务、角色、模型规模与MoE架构上整体准确率优于静态剪枝与合并基线，并可泛化到训练中未见的工作流，且在保留专家数很少时优势最大。
该工作提出 HOPE，一种二阶专家剪枝目标：在校准阶段记录每层专家对的交互矩阵 F，并将其作为二次规划求解以选择剪枝集合，理论上证明 REAP 等一阶方法是忽略交互项的特例；在三个前沿 MoE 模型（最高 122B 参数）、两套校准集与多个基准上，HOPE 在多数条件下取得最佳平均排名，50% 剪枝时平均排名 1.58（次优方法 REAP 为 2.42），在智能体编码任务上最高提升 +6.1%。
已读完全部报道