MaskCoFT 用可学习掩码联合微调路由器与专家，使 Mixtral-8x7B 每 token 专家取数减少 23.7%、DeepSeek-V2-Lite 减少 10.1%
相关研究与后续进展
核心概要
该工作提出 MaskCoFT，一种仅用交叉熵损失同时训练路由器与专家的掩码协同自适应微调方法：微调时用可学习二值掩码把每层 Top-K 路由限制到专家子集，使专家适应被重定向的 token，推理时该掩码作为软先验对专家重排序且所有专家仍可被选中；在模拟每层 4 个专家缓存的 Mixtral-8x7B 与 12 个的 DeepSeek-V2-Lite 上，每 token 专家取数相对基座模型分别减少 23.7% 与 10.1%，真实卸载系统服务中每输出 token 时间最多降低 16.4% 与 5.5%，九个基准上的平均准确率分别高出基座模型 0.92 与 0.53 分。
Figure 1: Routed expert weights dominate memory, and loading them dominates offloaded decoding latency. MaskCoFT reduces expert fetches while preserving accuracy. (a) Routed experts hold 96.6% of Mixtral-8×7B’s parameters and 91.7% of DeepSeek-V2-Lite’s. (b) Decode latency breakdown of Mixtral-8×7B in MoE-Offloading ( Eliseev and Mazur, 2023 ) , measured with NVIDIA Nsight Systems ( NVIDIA Corporation, 2026 ) . (c) Expert fetches per token and average accuracy over nine benchmarks under GPU cache holding 4 experts per layer for Mixtral-8×7B and 12 for DeepSeek-V2-Lite, both relative to the base model. The GPU cache holds 4 experts per layer for Mixtral-8×7B and 12 for DeepSeek-V2-Lite. MaskCoFT cuts fetches by 23.7% on Mixtral-8×7B and by 10.1% on DeepSeek-V2-Lite. It keeps average accuracy above the base model.
arXiv深度剖析
提出掩码协同自适应微调：用可学习二值掩码在微调阶段把每层 Top-K 路由限制到专家子集，并让路由器与专家在交叉熵损失下一起更新，使专家适应新路由送来的 token。 此前的路由器单独微调只重塑路由、保持专家冻结，专家无法适应新路由分配的 token；MaskCoFT 让路由器与专家共同适应，且不依赖交叉熵之外的额外损失项。 摘要给出方法机制与训练目标（仅交叉熵损失）的明确描述，并在两个模型规模上报告了结果，属于方法层面的自述证据。
推理阶段把学到的掩码用作软先验对专家重排序，同时保持每个专家仍可被选择，从而在压缩专家取数的同时不硬性排除任何专家。 与把路由硬性裁剪到固定专家集合的做法不同，软先验保留了全部专家的可选性，把微调期的路由约束转化为推理期的排序偏好。 摘要明确说明“every expert remains selectable”，但未给出软先验的具体形式或消融对比。
在模拟 GPU 缓存（Mixtral-8x7B 每层 4 个专家、DeepSeek-V2-Lite 每层 12 个）下，每 token 专家取数相对基座模型分别下降 23.7% 与 10.1%。 把路由层面的改动直接换算为卸载场景中最关键的取数指标，量化了缓存受限条件下的收益。 两个模型、两个缓存配置下的相对降幅数字，来自摘要报告；缓存规模为模拟设定。
在真实卸载系统服务中，每输出 token 时间最多降低 16.4%（Mixtral-8x7B）与 5.5%（DeepSeek-V2-Lite），九个基准平均准确率分别高于基座模型 0.92 与 0.53 分。 同时给出端到端服务延迟与多基准准确率两个方向的证据，说明取数减少可转化为实际解码加速且未以准确率下降为代价。 摘要报告了“up to”形式的延迟降幅与九基准平均准确率差值，未给出逐基准明细、方差或显著性信息。
启示与展望
该工作面向显存受限、需要专家卸载的 MoE 推理场景：多数专家驻留主机内存、按需加载，解码速度取决于每 token 需取回的专家数量。方法适用于具备 Top-K 路由的 MoE 层，需要在目标模型上做微调，并在推理时以软先验形式参与专家重排序。摘要给出的收益对应两个具体模型与两组模拟缓存规模（Mixtral-8x7B 每层 4 个专家、DeepSeek-V2-Lite 每层 12 个），因此其适用范围应理解为这类缓存受限的卸载服务，而非所有 MoE 部署形态。对希望降低单卡显存占用、同时保持多基准准确率的工程读者，这一路线提供了可复现的微调与推理改造方向。
摘要未说明掩码的具体参数化与训练细节、软先验如何参与重排序、微调数据与算力开销，也未给出逐基准准确率、延迟分布或方差信息；缓存规模为模拟设定，真实硬件与不同批大小下的表现仍需观察。收益以“up to”形式报告，不同配置下的下限尚不明确。此外，当前文本为摘要级内容，未包含图表与实验表格，因此对训练稳定性、与仅微调路由器等基线的逐项对比等开放问题，需以原文方法部分为准。