跳到主要内容
返回时间线
arXiv来源发表:

PromptGate 用联邦可学习提示把开放集联邦主动学习的查询纯度从约 60% 提升到 95% 以上

核心概要

PromptGate 提出一种面向开放集联邦主动学习(OS-FAL)的客户端自适应视觉-语言门控模块:在冻结的 BiomedCLIP 上以类特定上下文(CSC)方式学习全局提示(经 FedAvg 聚合)与客户端本地提示,用 VLM 伪标签在查询前把未标注池过滤成高纯度 ID 候选池,再交给任意下游主动学习策略;在 FedISIC 与 FedEMBED 两个联邦医学影像基准上,静态 VLM 提示的 ID 纯度会退化到约 50%,而 PromptGate 保持 95% 以上纯度并达到 98% 的 OOD 召回。

AI-generated editorial illustration: PromptGate: Client-Adaptive Vision–Language Gating for Open-Set Federated Active Learning

深度剖析

提出 PromptGate,一个可学习提示的 VLM 门控模块,用于开放集联邦主动学习,并把提示分解为经 FedAvg 聚合的全局 token 与各站点私有的本地 token。 此前 OpenPath 等工作在集中式设定下用 VLM 文本提示预热开放集主动学习,并把 OOD 当作固定的全局概念;PromptGate 把 VLM 用作客户端自适应的过滤前端,而不是定义采集规则,从而适配多机构异质的 OOD 行为。 方法描述完整:冻结 BiomedCLIP 图像与文本编码器,类特定上下文提示,混合配置为每类 8 个全局加 8 个本地可学习向量(共 16 个),SGD(lr 0.002、momentum 0.9、weight decay 5e-4)在每客户端 128-shot 子集上训练 15 个 epoch,仅全局 token 上传服务器。

VLM 门控伪标签机制在查询前把未标注池划分为 ID 候选池与丢弃池,作为可插拔的预筛选门控,前置到任意下游采集策略。 该门控与策略无关,可放在 Random、Entropy、FEAL、PAL、LfOSA 等策略之前,而既有 OS-FAL 方法依赖任务特定表示并在特征空间几何地处理 OOD。 在 FedISIC(R=5)上,PromptGate 各变体平均纯度 96.5%–96.8%,而 Coldstart 为 60.7%、静态 Baseline 为 74.3%;在 FedEMBED(R=10)上平均纯度 90.3%–90.7%,Baseline 为 88.0%;论文报告平均增益为 FedISIC +22%、FedEMBED +2–3%,BMA 提升 +1–3%,均为三个随机种子的平均。

提示随新标注逐轮更新,使 ID/OOD 边界逐步锐化,把 VLM 变成动态门控者。 静态 VLM 提示在 R=0 固定后不再变化,而 PromptGate 在每轮主动学习后用 CoOp 风格提示学习更新全局与本地 token。 FedISIC 上 VLM 查询精度从 R=1 的约 60% 起步,R=2 因首次 CoOp 更新出现暂时下降,R=3 之后升至 95% 以上;表 2 显示最终轮 OOD 召回为 98.2%(Mixed)、98.5%(Global)、98.8%(Local),而 Baseline 仅 0.5%。

消融显示本地 token 适配在门控纯度上最强,而混合配置在搭配强主动学习策略时取得最佳 BMA。 论文比较了 Mixed(8G-L8)、Global(16G)、Local(16L)三种提示配置,说明针对客户端特有伪影的语义对齐优于泛化的全局提示。 FedISIC 上 Local 取得最高平均纯度 96.8% 与 BMA 60.3%;FedEMBED 上 Local 保持峰值纯度 90.7%,BMA 相对 Mixed 仅 -0.2%;FedISIC 上 Mixed 搭配 Entropy 达到 66.1% BMA,Random 为 64.4%。

启示与展望

该工作面向跨机构、数据不能集中、未标注池含 OOD 噪声的联邦医学影像场景,适用于皮肤镜与乳腺密度分类这类任务;方法被设计为可前置到任意 OS-FAL 采集策略的即插即用模块,每客户端仅引入 16 个提示向量(约 12K 参数)与冻结骨干,因此适合算力受限、需要避免集中式数据整理的医院网络。论文指出,把少量标注预算用于提示初始化比扩展静态 OOD 提示更有效,这为后续在更多站点与模态上部署门控提供了方向。

论文自述 PromptGate 的细粒度 ID 分类仍有限(FedISIC 上约 42% BMA),说明 VLM 更适合作为 OOD 门控者而非独立分类器;早期轮次的提示适配可能暂时降低查询精度,且系统会继承 VLM 骨干的领域偏差。作者提出的后续方向包括强制 VLM 与任务模型的跨模态一致性以稳定早期轮次,以及从探索池中选择性查询。读者还需留意:FedISIC 的 OOD 是按 50% 比例注入的模拟设定,而 FedEMBED 的 OOD 是自然存在的临床伪影,两者 OOD 流行率差异较大,因此纯度增益幅度不同;此外,FedEMBED 上 VLM 门控方法初期 BMA 略低于 Coldstart,说明过滤后池子更小且多样性下降的影响值得在其它数据分布下继续观察。

来源