用任务向量方差预测合并崩溃,PRISM 无需数据即可修复五个破坏性合并
相关研究与后续进展核心概要
该工作提出以专家任务向量跨专家的方差作为“干扰”度量,在合并前给出预测崩溃的分数,并据此设计 PRISM 算子:先平均任务向量、再按每层干扰水平做软阈值,在来自四个模型族的二十二个合并配置中只有破坏性合并超过该分数阈值,十四个合并的事前预测有十二个正确,PRISM 在无数据、无调参的情况下把全部五个破坏性合并保持在阈值之上、与基座模型评估噪声相当,而朴素平均至少低 14.4 分或完全崩溃。
Figure 2: Coefficient sweep on Qwen2.5-7B Math + + Coder: (a) six-task evaluation and (b) separately prompted generation. Squares mark the norm-matched control.
arXiv深度剖析
作者指出平均所移除的“功率”等于任务向量在专家之间的方差,并将其定义为干扰度量,进而给出一个合并前分数:在工作噪声模型下,合并注入的扰动随合并系数与干扰增大。 以往常见合并算子不会在评估前给出任何警告,而这里把崩溃风险转化为一个可在合并前计算的统计量。 在来自四个模型族的二十二个合并配置上,只有破坏性合并超过该分数阈值。
作者发现专家之间符号冲突的统计量(现有合并算子常针对的目标)是反向预测的。 这提示以符号冲突为目标的既有思路与崩溃风险的方向并不一致。 文中以“anti-predictive”描述该观察,未给出具体数值。
作者在评估之前预测了十四个合并的结果,其中十二个预测正确,包括一对专家因继续预训练被推过阈值而出现的破坏性结果。 把该分数从事后解释推进到事前预测,并覆盖了继续预训练改变合并结局的情形。 十四个合并中十二个正确,属于前瞻性预测验证。
作者提出 PRISM:先平均任务向量,再按每层干扰设定的水平对每层做软阈值;无数据、无调参即可把全部五个破坏性合并保持在阈值之上,与基座模型的评估噪声相当,而朴素平均至少低 14.4 分或完全崩溃。 修复由同一干扰统计量校准,且只在超过阈值时启用 PRISM,阈值以下的合并(包含全部十五个无害合并)仍用朴素平均。 五个破坏性合并全部被修复,且与基座模型的差距在评估噪声范围内。
启示与展望
该结果面向从共享基座微调出的专家模型、以任务向量平均方式进行合并的场景,适用于合并前判断风险并在超过阈值时改用 PRISM;阈值以下的合并(含全部十五个无害合并)仍保留朴素平均。作者已公开代码,便于在同类合并流程中复现与采用。
摘要未给出干扰度量与合并系数的具体函数形式、阈值取值方式,也未说明二十二个配置与四个模型族的具体构成及评估指标;十四个事前预测中两个不正确的情形未在摘要中展开。若需据此实现,仍需查阅正文中的噪声模型推导、阈值设定与 PRISM 的逐层软阈值细节。
