Di Wu

多任务部署常要把多个独立微调的模型合成一个，但现有合并方法把所有任务压进同一个共享低秩空间，子空间方向不一致的任务会丢失关键方向。GRAM只用微调后的权重，先按任务输出子空间之间的主角几何把任务分成若干组，再在每组内做标准的SVD合并。在Flan-T5-Base的GLUE上平均准确率83.8%，高于全局合并的81.9%和最强基线TSV-Merge的81.7%，代价是多部署一个模型。

多任务部署常要把多个独立微调的模型合成一个，但现有合并方法把所有任务压进同一个共享低秩空间，子空间方向不一致的任务会丢失关键方向。GRAM只用微调后的权重，先按任务输出子空间之间的主角几何把任务分成若干组，再在每组内做标准的SVD合并。在Flan-T5-Base的GLUE上平均准确率83.8%，高于全局合并的81.9%和最强基线TSV-Merge的81.7%，代价是多部署一个模型。