跳到主要内容
返回时间线
arXiv来源发表:

持续更新的模型会泄露“何时用过”:TMIA 从置信度轨迹推断样本进出时间,时间戳级 F1 超 83%

核心概要

持续更新的模型会保留一串历史快照,攻击者可以查询这些快照,从而不仅判断某条样本是否被用于训练,还能推断它何时被加入、何时被移除。TMIA 把同一条样本在各快照上的置信度变化当作时间序列,用带滑动窗口的双向 LSTM 标出进入点和退出点,再按时间顺序配对成合法的成员区间。在三个语言模型和三个图像分类模型上,TMIA 的时间戳级 F1 在语言模型各设置中均高于 83%,区间级 F1 相对两个基线至少提升 21.82%。

Source-provided article image: Timing is Everything: Inferring Temporal Membership in Continually Updated Models
arXiv

深度剖析

持续更新的模型把训练历史摊开成一串可查询的快照,成员隐私因此多出一个时间维度:除了“是否用过”,还能问“哪段时间用过”。 此前的成员推断攻击只处理单向变化,即只插入或只删除,并假设每条样本最多发生一次成员状态转变,且多数方法只比较相邻两个快照。 在 Pythia-70M 与 SST-5 的更新序列上,只比较相邻快照的 UP-MIA 把第 40 个时间戳误判为进入点,而真实进入点在第 70 个时间戳;逐快照独立判断的 TS-MIA 则把进入点判在第 46 个时间戳。

TMIA 不直接判断单个快照,而是把一条样本在整串快照上的置信度变化读成一条时间序列,先定位进入和退出事件,再拼成成员区间。 方法用带滑动窗口的双向 LSTM 做序列标注,窗口把注意力限制在进入点或退出点附近的局部模式,随后按时间顺序把退出点与它前面最近的未配对进入点配对,保证区间不重叠且顺序正确。 攻击者在辅助数据上训练与目标更新对齐的影子模型序列,用 3000 条影子样本训练攻击模型、1200 条目标样本评估;在 Pythia-70M、T5、GPT-2 与 ResNet-18、SimpleCNN、MobileNet 共 18 个模型-数据集组合上,TMIA 的时间戳级 F1 均高于两个基线。

即使影子模型与目标模型在数据、架构或更新算法上不一致,TMIA 仍能保持大部分效果。 影子模型与目标模型的数据集不同时,时间戳级 F1 最多下降 4.95%;架构不同时最多下降 2.1%;更新算法不同时 F1 仍不低于 88.33%。 在 LLaMA-3B 与 LLaMA-8B 上,以困惑度替代置信度作为序列输入,TMIA 的时间戳级精确率在 95.61% 到 99.48% 之间,F1 高于 84%。

启示与展望

评估覆盖 SST-5、News20、MNLI 三个文本数据集与 CIFAR-10、SVHN、CINIC-10 三个图像数据集,语言模型模拟 80 次更新、图像模型模拟 60 次更新,每次更新同时包含插入与删除;LLaMA 实验在 40 个时间戳上以 LoRA 微调进行更新。攻击设定为黑盒,攻击者能查询快照并拥有辅助影子数据,但不参与训练、不知道更新算法与更新内容。

TMIA 只能重建被查询快照范围内的成员历史,完全发生在两个相邻被查询快照之间的插入或删除无法被任何黑盒攻击观察到。防御评估显示标签输出、dropout 与差分隐私都能降低攻击效果,但差分隐私的隐私保护最强时模型效用损失也最大,标签输出则只带来约 3% 与 11% 的 F1 下降。