arXiv来源发表:
身份遗忘不再依赖原始遗忘集:外部记忆里删掉原型,再用少量支持信息重适配
核心概要
身份级机器遗忘在请求时拿不到完整原始遗忘集,MCU把每个训练身份的特征聚成原型存进外部记忆,遗忘时先删原型再用少量支持信息重适配,在1-SHUI的身份划分与一次性支持构造下取得效用、成员可区分性与请求时算力的折中。
深度剖析
身份级遗忘可以只靠外部记忆里的原型增删来完成,而不必在请求时重新接触完整的原始遗忘集。 此前的遗忘请求通常假定目标身份的完整训练数据在请求时可用,而这里处理的是请求时缺少完整原始遗忘集的情形。 在1-SHUI的身份划分与一次性支持构造下,MCU在模型效用、成员可区分性和请求时计算效率之间取得了有利的经验折中。
宿主模型旁边挂一个可控制的外部身份原型记忆,遗忘就变成先删记忆条目、再让模型重新适配。 做法是用Modern Hopfield Network充当外部身份原型记忆,把每个训练身份的特征表示聚合成身份原型存入其中。 检索出的记忆表示由Prototype Adaptation Network变换,Dependency Gating Unit控制它对下游预测的贡献;遗忘时移除对应原型,再用目标身份的少量支持信息连同保留数据做基于梯度的重适配。
启示与展望
这项工作面向处理遗忘请求时只能拿到有限目标身份信息、且完整原始遗忘集不在请求时梯度重适配中出现的场景,保留数据仍可用于维持下游任务效用。评估建立在1-SHUI的身份划分与一次性支持构造之上,比较对象是所评估的若干基线。作者把结果定位为可控制外部记忆在机器遗忘中潜力的经验证据,而不是完整信息移除的形式保证。
作者明确说明,这里的“数据缺失”特指请求时基于梯度的重适配过程中缺少完整的原始遗忘集,保留数据仍可能被使用。结果被表述为经验证据,而非完整信息移除的形式保证,因此成员可区分性等指标上的表现应放在该评估设定下理解。
