JPMorgan Chase & Co (United States)

多任务部署常要把多个独立微调的模型合成一个，但现有合并方法把所有任务压进同一个共享低秩空间，子空间方向不一致的任务会丢失关键方向。GRAM只用微调后的权重，先按任务输出子空间之间的主角几何把任务分成若干组，再在每组内做标准的SVD合并。在Flan-T5-Base的GLUE上平均准确率83.8%，高于全局合并的81.9%和最强基线TSV-Merge的81.7%，代价是多部署一个模型。

多任务部署常要把多个独立微调的模型合成一个，但现有合并方法把所有任务压进同一个共享低秩空间，子空间方向不一致的任务会丢失关键方向。GRAM只用微调后的权重，先按任务输出子空间之间的主角几何把任务分成若干组，再在每组内做标准的SVD合并。在Flan-T5-Base的GLUE上平均准确率83.8%，高于全局合并的81.9%和最强基线TSV-Merge的81.7%，代价是多部署一个模型。

个性化助手要从长对话历史里找回稀疏证据，而查询的复杂度差别很大。APDMem把对话历史组织成主题摘要、个性化关键事实、轮次级证据笔记和原始消息四层，由控制器先读高层摘要，只在需要时下钻到更细的证据。在LongMemEval上，它取得较强的长上下文记忆推理表现，同时只访问全部对话的8%。

个性化助手要从长对话历史里找回稀疏证据，而查询的复杂度差别很大。APDMem把对话历史组织成主题摘要、个性化关键事实、轮次级证据笔记和原始消息四层，由控制器先读高层摘要，只在需要时下钻到更细的证据。在LongMemEval上，它取得较强的长上下文记忆推理表现，同时只访问全部对话的8%。