联邦微调里的水印会被稳健聚合器洗掉：把水印更新伪装成内点，单个客户端用3.3%有效水印数据仍能验出

联邦微调中，服务器若在聚合时使用强拜占庭稳健聚合器，现有大模型文本水印会在训练过程中被当作异常更新剔除，训练结束后的黑盒检测随之失效。 此前在集中式微调中，水印数据训练后的模型仍可被高置信度检出，即使再在干净数据上继续微调也依然可检；该工作把这一检测场景搬到联邦学习，并让服务器在训练中主动用RandEigen过滤更新。 在Pythia、Qwen、LLaMA三个模型与Alpaca、OpenWebText两个数据集上，KGW+、AAR、KTH-EXP、KTH-ITS四种代表性水印在FedAvg下大多可检出，而在RandEigen下多数p值回到0.50附近，唯一例外是LLaMA在Alpaca上配KTH-EXP的0.069，仍高于0.05阈值。

把水印样本的连续输入嵌入当作可调变量，让它们诱导出的梯度贴近干净更新的梯度分布，同时不偏离原词元序列太远，水印更新就能留在稳健聚合器的接受范围内，而水印信号仍留在文本里。 直接缩放水印更新或把干净更新与水印更新做单一系数的凸组合只能沿一条线段调整方向，难以逐坐标修正异常结构；该工作改为在嵌入空间做约束优化，用重建损失拉近与干净代理梯度的距离，用余弦距离正则保持与原嵌入的接近。 干净梯度由水印客户端本地维护的代理模型估计，该代理模型在本地干净数据上持续微调；在Qwen微调Alpaca的设定下，CamoMark取得低至约10^-4量级的p值，而同样设定下凸组合基线只在Qwen配Alpaca一处成功，其余配置均不稳定。

训练结束后的继续微调、剪枝和蒸馏等去除攻击下，水印仍大多可检出，且水印对模型效用影响很小。 在有效水印比例3.3%时，Pythia对去除攻击最敏感，LLaMA在OpenWebText上遇到更长继续微调和更强剪枝也会失去可检性；把有效水印比例提高到6.6%后，作者报告所有模型、数据集与攻击组合都保持可检出。 效用对比显示，CamoMark在RandEigen下的C4困惑度相对基线在一半设定中上升、一半下降，最大上升幅度很小，作者把这一差距归因于RandEigen的过度过滤而非CamoMark本身。

该工作面向联邦大模型微调中的数据溯源：数据贡献方持有自己的水印数据与私钥，训练结束后仅通过黑盒访问可疑模型来验证其是否用过这些数据。实验覆盖Pythia、Qwen、LLaMA三个模型家族与Alpaca、OpenWebText两个数据集，服务器聚合以RandEigen为主；作者另在Pythia配Alpaca上做了Filtering与No-Regret的验证性检查，并说明CamoMark不依赖特定聚合器。作者还在非独立同分布客户端数据下用最近邻混合加Multi-Krum做了额外评估，并指出强稳健聚合器在非独立同分布场景仍缺乏充分研究。

检测以p值作为统计证据，作者明确不把它当作所有权或法律违规的定论。有效水印比例3.3%时，Pythia在较长继续微调或换数据集继续微调后、以及在部分剪枝比例下会失去可检性，LLaMA在OpenWebText上遇到更长继续微调和更强剪枝也会失去可检性。作者还指出，目前没有理论刻画训练后需要多少残余水印信号才能保证检测成功，检测能力仍以实验评估为准。