一个训练步的中间值就够抄走LoRA适配器：VeilTune把前向、反向与Adam更新整体搬进安全多方计算
核心概要
现有安全微调协议把每一步的隐藏表示或logits交给数据方，数据方据此就能复制服务方的LoRA适配器：仅一个含32条样本的小批量，隐藏表示即可让复制品在99.2%的测试输入上与原件一致，只用logits也约94%。VeilTune改为在安全多方计算中完整执行前向、反向传播与Adam更新，只把训练好的适配器交给模型方，在RoBERTa-large的四个少样本任务上平均比SecP-Tuning高5.3个百分点，并与明文训练相差0.3至1.7个百分点。
深度剖析
安全微调中，数据方拿到的中间结果本身就足以复制服务方的适配器，即使数据方严格按协议行事。 此前的安全微调协议只保护数据方样本，却把每一步的隐藏表示或logits开放给数据方，理由是这些值不是适配器本身。 在SST-2上，从单个含32条样本的小批量隐藏表示出发，提取出的适配器与原件在99.2%的测试输入上预测一致，只用logits时约94%。
VeilTune把整个训练步放在安全多方计算里执行，只向模型方公开训练完成的适配器。 SAP与PrivTuner从开放给数据方的值反向传播，SecP-Tuning干脆不做反向传播；而只做前向的零阶训练收敛需要约16倍的步数和24倍的通信。 在RoBERTa-large、每类16个训练样本的四个少样本任务上，VeilTune与明文训练相差0.3至1.7个百分点，平均比SecP-Tuning高5.3个百分点。
三项技术让在安全多方计算中做反向传播变得可行：token打包只计算损失依赖的位置，训练感知的非线性算子在大范围输入上保持精度，遗忘式跳步丢弃被截断失败污染的更新。 通用安全算子只对推理激活的典型范围准确，而训练产生的LayerNorm方差超过100，Adam二阶矩则落在通用算子与定点编码难以准确表示的小量级上，这类误差会存进优化器状态并扭曲后续每一步。 在SST-2上，VeilTune端到端耗时2.5小时、每方通信3.9 TB，SecP-Tuning为8.8小时和14.2 TB，全参数安全微调为65.9小时和67.4 TB。
启示与展望
演示范围是RoBERTa-large在SST-2、Yelp、AG News和RTE四个少样本分类任务上的LoRA微调，每类16个训练样本，适配器为最后八个块查询与值投影上的秩4分支，两方各用一块A100并在模拟的局域网与广域网上计时。
安全性论证针对静态、半诚实的单方腐败对手，且不覆盖偏离协议的攻击与侧信道；跳步比例随输入长度上升，SST-2约10%，AG News与RTE约40%，Yelp约一半，精度差距正来自这些被跳过的步。