联邦微调不再二选一:全局适配器共享、个性化投影留在本地,十个数据集平均调和均值82.15
BLEND把CLIP的联邦微调拆成共享的视觉/文本适配器和每个客户端私有的视觉投影适配器,在十个图像数据集上把个性化与泛化的调和均值平均做到82.15,比最强基线高4.81个百分点。
BLEND把CLIP的联邦微调拆成共享的视觉/文本适配器和每个客户端私有的视觉投影适配器,在十个图像数据集上把个性化与泛化的调和均值平均做到82.15,比最强基线高4.81个百分点。
脑激活图的功能解码有了新做法:NiCLIP把神经影像文献文本与坐标生成的激活图放进同一潜在空间做对比学习,再借认知本体把相似度转成任务、概念和域的后验概率。此前常用的相关型解码器和GC-LDA依赖预计算元分析图与固定词表,只给出任务级预测。在人类连接组计划七个域的组水平图上,最佳配置的任务召回为62.86%,而Neurosynth与GC-LDA最高为20.71%;同一模型在个体水平激活图上表现明显下降。
已读完全部报道