联邦微调里的水印会被稳健聚合器洗掉:把水印更新伪装成内点,单个客户端用3.3%有效水印数据仍能验出
在联邦大模型微调中,服务器用强拜占庭稳健聚合器RandEigen会把现有文本水印更新当作异常值滤掉,而把水印样本的输入嵌入优化成贴近干净更新的内点后,单个客户端仅凭自己3.3%的有效水印数据即可在训练后以黑盒方式验出模型用过该数据。
在联邦大模型微调中,服务器用强拜占庭稳健聚合器RandEigen会把现有文本水印更新当作异常值滤掉,而把水印样本的输入嵌入优化成贴近干净更新的内点后,单个客户端仅凭自己3.3%的有效水印数据即可在训练后以黑盒方式验出模型用过该数据。
已读完全部报道