剪掉泄漏神经元：JEPA-Prune 只剪 1.6% 神经元，微调模型的人名推断准确率最多降 7.4 个百分点
核心概要
在私有记录上微调的大模型会记住姓名等个人信息，而现有隐私神经元编辑只看泄漏模型本身，缺少一份不含个人信息的参照来区分身份神经元与有用上下文。JEPA-Prune 用同一批记录的替代值与掩码视图训练一个不含原始个人信息的公开模型作为参照，再以跨模型表示探针、积分梯度和尺度不变特异性分数定位对个人信息敏感的神经元，部署前直接置零、无需重训。在三个个人信息数据集和五个模型上，剪掉 1.6% 的神经元使个人信息推断准确率最多下降 7.4、抽取召回率最多下降 13.9，多数模型未见文本困惑度保持在未剪模型的 16% 以内。
深度剖析
微调后的模型可以在部署阶段直接剪掉少量与个人信息相关的神经元，而不必重新训练或改动服务接口，从而降低通过普通查询泄漏姓名等私有数据的风险。 此前的隐私神经元编辑只分析泄漏模型本身，没有一份不含个人信息的参照，难以把身份特异的神经元与支撑有用上下文的神经元分开；数据清洗和差分隐私则要在训练阶段介入，且可能损失效用。 在 Gemma-2-2B 与 ai4privacy 上，0.8% 预算把姓名推断准确率从 40.86% 降到 9.30%，而同样层、同样数量的随机剪枝只降到 31.23%，说明差距来自选中了哪些神经元而非剪掉多少。
做法是给私有模型配一个只见过替代值和掩码视图的公开参照模型，用两者表示之间的距离来定位泄漏神经元。 公开模型与私有模型共享同一个冻结骨干，各自训练 LoRA 适配器；公开模型用联合嵌入预测架构（JEPA，让同一记录的两个视图在嵌入空间互相预测）训练，从不输入原始个人信息值。 跨模型探针测量泄漏记录与占位符版本之间的表示偏差，积分梯度把偏差归到注意力与前馈神经元，尺度不变的特异性分数筛出对个人信息响应更强的那些，再按跨记录出现频率置零。
剪枝的效用代价随模型而异，预算需要按模型选择。 在 Gemma-2-2B 上剪枝后的未见文本困惑度接近随机剪枝，而在 Llama-3.2 系列上 3.2% 预算的困惑度高于随机剪枝，Yelp 上达到 55.343。 在 Llama-3.2-1B 上，前 0.08% 到 0.61% 的神经元带来大部分泄漏下降，未见文本困惑度不超过 1.099，而更大预算主要增加效用损失。
启示与展望
演示范围是三个含个人信息的数据集（ECHR 法律文书、Yelp 评论、ai4privacy 合成文本）与 Llama-3.2-1B、Llama-3.2-3B、Llama-3.1-8B、Gemma-2-2B、Mistral-7B 五个模型，攻击针对人名，剪枝只修改私有模型输出投影的列，公开参照模型保留在数据所有者手中、不部署。
剪枝预算必须按模型选择，较小 Llama 模型在保住多数模型困惑度的预算下困惑度明显上升；公开视图依赖实体标注，命名实体识别漏掉的实体仍会进入公开模型；由于泄漏记录集由人名攻击构建，剪掉的神经元只针对该实体类型，其他个人信息类型的泄漏基本不变；被剪内容可能在进一步微调或量化后重新出现。