Tideway把消费级PC的GPU显存与主机内存合并成一个统一内存池，并按预填充与解码两个阶段分别布置专家权重，使超出显存的前沿MoE模型不必反复从SSD搬运权重。在RTX 5090、16–128 GiB主机内存预算下，对Qwen3.6-35B-A3B、Gemma4-26B-A4B与DeepSeek-V4-Flash的270组固定形状配置，端到端延迟平均加速1.97倍、最高3.18倍，首令牌时间平均加速2.40倍，每输出令牌时间平均加速1.61倍；八段多轮编码智能体会话回放中总请求处理时间最高缩短3.14倍。
Sakana AI 与 Modal 合作，把约 1 万亿参数的混合专家模型 Sakana Namazu 以 NVFP4 精度部署到生产 API。压缩只作用于承载大部分参数的路由专家，注意力、路由器和共享专家保持 BF16，并用偏重日语的对话数据校准，使模型在日语指令遵循上与生产检查点相当。定制草稿模型在超过 300 亿原始 token 上训练，相比通用草稿模型把投机 token 接受率提高 25%；上线后用约 100 万条真实请求重训的第二版草稿模型，在 1000 条留出请求回放中把平均接受长度从 3.51 提到 5.01，p99 延迟从 68 秒降到 52 秒。
递归自我改进此前只在后训练上跑通，因为那里每次试验只花GPU小时、还能拿到可验证分数；前沿预训练一次就要数十万GPU小时、无法重跑，目标也不是单一分数。上海创智学院与Xinxu AI的新团队把预训练拆成可闭合的小回路，用智能体做调试、用tiny-SFT等指标估计后训练余量、把数据流程改成可量化任务，三个月从零训练出30B-A3B的801基础模型。在13项基础评测上它平均73.13分，仅次于更大的Qwen3.5-35B-A3B的76.67分。
混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按重要性逐个删除专家是常见压缩手段。HOPE把剪枝误差写成专家两两交互项之和，用校准数据构造交互矩阵并求解二次规划来选剪枝集合。在Qwen3.5-122B、Qwen3.5-35B和GLM-4.5-Air上，50%剪枝时HOPE平均排名1.58，优于次优方法REAP的2.42；Qwen3.5-35B-A3B在SWE-Bench Pro上得42.3，与未剪枝的41.8相当，而REAP降至36.2。
混合专家模型推理时每个专家都要占内存，而单个词元只用到少数几个，因此按独立重要性分数删专家是常见做法。HOPE把剪枝误差写成专家对之间的交互项，用二次规划一次性选出整组要删的专家，在三个模型、两套校准数据和多个基准上取得最佳平均排名。在Qwen3.5-35B-A3B上剪掉50%专家后，SWE-Bench Pro得分为42.3，与未剪枝模型的41.8相当，而一阶方法REAP降到36.2。
此前按“验证时激活的专家权重字节数”估算投机解码成本，认为稀疏MoE的加速比随批大小呈凹形、在低批大小收益有限。对10个30B至1T参数、8至512专家的稀疏MoE模型实测后，细粒度模型多在批大小1附近达到最高加速比。原因有两层：相邻草稿位置的路由重叠让验证时真正加载的唯一专家数比独立假设少21%至34%，而GPU上MoE核与注意力核的带宽利用差异和L2缓存复用又让运行时间不再正比于专家字节。
字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器（SAE，把层输出重建为一组稀疏可解释特征的字典），利用编码器对专家输出的仿射性，把每个特征的激活精确拆成各专家的贡献。按语料平均后，每个专家得到一组它主要驱动的特征；这些特征多数只有一到两个主导专家，且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。
JustVugg 发布开源推理引擎 colibri，用纯 C 写成、每个模型家族一个文件，不需要 GPU。混合专家模型每个 token 只调用自身一小部分，colibri 把这一小部分常驻内存，其余专家留在磁盘上按需读取。官方示例中 GLM-5.2 这一 744B 参数、int4 量化的 MoE 模型在 CPU 上 32 秒就绪、常驻 9.9 GB；最低配置为 8 GB 内存，最小模型需 22 GB 磁盘。
用户调用大模型时，无法确认回复是否来自开发者声称的那个模型，路由服务换用更便宜的模型或攻击者篡改token流都难以从输出本身察觉。Anthropic开源的FlashProve用零知识简洁论证（zkSNARK，一种短证明，验证者无需模型权重即可快速确认某次计算确实执行过）为推理过程出具证明。在4比特量化的Llama 4 Maverick（400B参数混合专家模型）上，单张H100每秒生成约110个token的证明，每1024个token请求的证明约19 MB，证明耗时约为vLLM自身推理GPU时间的70至95倍。
Mistral在Hugging Face发布Mistral Large 4（Le Chonk），这是一个约1T总参数、49B激活参数、上下文窗口1M token的多模态混合专家模型，以开放权重形式提供FP8与NVFP4两个官方版本。它把大专家池与稀疏注意力、Pixtral视觉编码器组合起来，语言模型为每个token只选少数专家，注意力索引器只选部分历史位置。在要求复现并修补开源软件真实漏洞的Artificial Analysis Cyber Index测试上，该模型得82%，Mistral称这是该测试已报告的最高分。