删除请求不再牵动大半分片：IDSISA用影响函数集中遗忘样本，再向未受影响分片蒸馏补回精度
核心概要
面向隐私法规下的机器遗忘，IDSISA在SISA的分片重训框架上加入影响函数引导的分片分配与跨分片蒸馏。影响分数在训练前一次性算出，把可能被一起删除的样本集中到少数分片，使一次删除请求触及的分片数少于随机分片；重训分片同时向未受影响分片学习软输出，补回隔离训练丢掉的效用。在ResNet-18/CIFAR-10、BiLSTM/IMDB、TCN/IMDB与Fashion-MNIST全连接网络上，删除保证仍来自重训本身，蒸馏只是单独量化的效用恢复手段。
深度剖析
一次删除请求需要重训的分片数量减少，因为可能被一起删除的样本在训练开始前就被安排进同一批分片。 随机分片不控制一次删除会触及哪些分片，因此单个请求往往要重训大多数分片。 在CIFAR-10上删除“猫”类5000个样本时，受影响分片为2–3个，其余7–8个可作为教师；随机分片下典型请求重训8–9个分片，而影响感知分片下典型请求重训的分片数在原文不同位置分别记为2–4个与4–5个。
重训分片向未受影响分片学习软输出，补回隔离训练丢掉的全局统计结构，遗忘更彻底且保留集精度更高。 SISA的隔离重训让每个分片只看到自己那部分数据，相对能看到完整分布的训练会损失效用。 ResNet-18/CIFAR-10上遗忘类残差精度从18.6%降到12.3%，接近10%的随机猜测下限，保留损失从1.6%降到0.8%；BiLSTM/IMDB上保留类精度变化从-3.10%转为+0.65%。
跨分片蒸馏引入了SISA原本没有的分片间依赖，重复删除请求下的删除保证需要按依赖闭包级联重训来维持。 单次请求的认证只针对空的蒸馏历史，若某分片曾以另一分片为教师，后续删除该教师分片的数据时，仅重训直接受影响分片会留下残余依赖。 按依赖图的可达闭包重训后，任意有限删除序列下整个聚合模型都恢复因果精确性；重训分片数等于闭包大小，最好情况与单次请求相同，最坏情况与完整SISA相同。
启示与展望
演示范围是每个架构上单次、孤立的删除请求，覆盖ResNet-18/CIFAR-10与CIFAR-100、BiLSTM/IMDB、TCN/IMDB和Fashion-MNIST上的全连接网络，所有数值为5个随机种子的均值；重复删除下的级联机制只在两条顺序请求轨迹上测量，未进入主实验。
蒸馏带来的效用恢复是单独量化的经验近似，认证只覆盖因果精确性而非分布精确性；理论界依赖凸性假设，对ResNet-18和BiLSTM并不严格成立，均值差距0.008–0.013低于0.015的启发式阈值，但99百分位尾部0.019–0.027超出该阈值。在对抗性的连续删除轨迹上，8次请求中有2次级联退化为重训全部分片，效率优势只在单次删除情形下成立。