跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

用任务向量方差预测合并崩溃,PRISM 无需数据即可修复五个破坏性合并

该工作提出以专家任务向量跨专家的方差作为“干扰”度量,在合并前给出预测崩溃的分数,并据此设计 PRISM 算子:先平均任务向量、再按每层干扰水平做软阈值,在来自四个模型族的二十二个合并配置中只有破坏性合并超过该分数阈值,十四个合并的事前预测有十二个正确,PRISM 在无数据、无调参的情况下把全部五个破坏性合并保持在阈值之上、与基座模型评估噪声相当,而朴素平均至少低 14.4 分或完全崩溃。