跳到主要内容
检索

# 模型提取

1 篇关联报道

订阅更新
  1. arXiv

    一个训练步的中间值就够抄走LoRA适配器:VeilTune把前向、反向与Adam更新整体搬进安全多方计算

    现有安全微调协议把每一步的隐藏表示或logits交给数据方,数据方据此就能复制服务方的LoRA适配器:仅一个含32条样本的小批量,隐藏表示即可让复制品在99.2%的测试输入上与原件一致,只用logits也约94%。VeilTune改为在安全多方计算中完整执行前向、反向传播与Adam更新,只把训练好的适配器交给模型方,在RoBERTa-large的四个少样本任务上平均比SecP-Tuning高5.3个百分点,并与明文训练相差0.3至1.7个百分点。

已读完全部报道