跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

DEP用提示词为多智能体系统动态剪枝专家,在保留专家极少时准确率超过静态剪枝与合并基线

该工作提出动态专家剪枝(DEP):分析显示多智能体系统中不同任务与角色会调用不同专家,而静态剪枝对所有请求使用同一固定掩码;DEP利用智能体的系统提示与任务提示,经一次前向传播生成按请求定制的专家掩码,无需逐配置校准,在多种任务、角色、模型规模与MoE架构上整体准确率优于静态剪枝与合并基线,并可泛化到训练中未见的工作流,且在保留专家数很少时优势最大。