同架构同数据,换优化器就换泄露量:Muon 重建最强,Adam 最抗重建
核心概要
在相同架构与数据下,仅凭训练好的检查点重建训练图像时,Muon 训练的模型泄露最多,Adam 训练的模型在评测攻击下最抗重建,优化器选择因此成为训练数据隐私的一个控制轴。
深度剖析
重建攻击的效果取决于优化器在收敛时留下的隐式偏置,而不只取决于网络是否记住了训练样本。 此前的重建结果建立在梯度下降训练之上,攻击者利用的是梯度下降的最大间隔隐式偏置。 在 MNIST 与 CIFAR-10 的二分类和十分类任务上,同一套仅用检查点的攻击对三种优化器训练出的模型给出不同强度的重建。
攻击把优化器对应的间隔几何写成平稳性条件,再反解候选输入。 梯度下降的欧氏平稳性项被替换为所选优化器间隔范数的次微分条件,并改用一个尺度不变的逐块对齐惩罚。 该目标在欧氏情形下回到此前梯度下降攻击的目标(相差乘子尺度),并同时覆盖 Muon 的谱范数与 Adam 的全局无穷范数两种几何。
Adam 的平稳性目标只编码最大幅值坐标的位置与符号,不含权重幅值的连续信息。 SGD 的目标锥是权重方向的射线,Muon 的目标锥编码每个块的前若干奇异结构,而 Adam 的目标锥只由最大坐标集合及其符号决定。 在非退化 KKT 点处,Adam 的平稳性方程数至多等于在间隔上的样本数,少于未知量,因此该攻击族下无法做到正则一阶可辨识。
启示与展望
报告覆盖的是仅凭检查点、基于平稳性条件的重建攻击,威胁模型假定攻击者看到最终参数与架构、知道优化器族,但看不到训练输入、标签、样本数或中间迭代。实验对象是二值 MNIST 奇偶、二值 CIFAR-10 车辆对动物以及十分类 CIFAR-10 上的全连接 ReLU 网络,Muon 只作用于隐藏到隐藏的二维权重矩阵,输入层与输出层仍用 SGD。作者提出,把这种几何隐式偏置分析推广到低秩与正交化等内存高效优化器,是理解训练数据泄露的下一步方向。
作者明确不提供形式化隐私保证,分析针对的是理想化偏置,即稳定性常数可忽略的 Adam,网络层面的结论依赖非退化 KKT 点假设。Muon 与 SGD 的比较不是定理,而是由可达性给出的预测,会随训练预算、样本量和架构变化:小样本量下 SGD 可与 Muon 相当,某些架构中甚至追平或超过。特异性本身不是输入可辨识性的信息论界,Adam 的一阶不可辨识结论也只覆盖这一平稳性攻击族。
