混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按重要性逐个删除专家是常见压缩手段。HOPE把剪枝误差写成专家两两交互项之和，用校准数据构造交互矩阵并求解二次规划来选剪枝集合。在Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air上，50%剪枝时HOPE平均排名1.58，优于次优方法REAP的2.42；Qwen3.5-35B-A3B在SWE-Bench Pro上得42.3，与未剪枝的41.8相当，而REAP降至36.2。
混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按独立重要性分数删专家是常见做法。HOPE把剪枝误差写成专家对之间的交互项，用二次规划一次性选出整组要删的专家，在三个模型、两套校准数据和多个基准上取得最佳平均排名。在Qwen3.5-35B-A3B上剪掉50%专家后，SWE-Bench Pro得分为42.3，与未剪枝模型的41.8相当，而一阶方法REAP降到36.2。
正则化内点法求解凸二次规划时，正则化权重、障碍参数和内层容差长期依赖人工设定。RL-QProxIP 用强化学习策略在每次外层迭代给出这些参数的收缩因子，不改变底层算法，因而保留原有收敛保证。在 Maros–Mészáros 测试集上，该策略在约70%的实例上是最快求解器，而基线 QProxIP 需约3.5倍时间才达到同一比例；原文对两者最终覆盖率的两种表述互相矛盾，此处不作取舍。
该工作提出 Priority-Constrained Descent（PCD），一种把主目标梯度作为锚点、只在必要时做最小欧氏扭曲以保证每个次要目标获得 τ 比例一阶进展的梯度优化框架，在结构化剪枝、非结构化稀疏加低秩以及合成实验中报告了优于对称多目标方法的逐目标表现与帕累托支配，并给出二、三目标的闭式解与尺度不变性。
该工作提出 HOPE，一种二阶专家剪枝目标：在校准阶段记录每层专家对的交互矩阵 F，并将其作为二次规划求解以选择剪枝集合，理论上证明 REAP 等一阶方法是忽略交互项的特例；在三个前沿 MoE 模型（最高 122B 参数）、两套校准集与多个基准上，HOPE 在多数条件下取得最佳平均排名，50% 剪枝时平均排名 1.58（次优方法 REAP 为 2.42），在智能体编码任务上最高提升 +6.1%。
已读完全部报道