跳到主要内容
检索

# 大语言模型水印

6 篇关联报道

订阅更新
  1. arXiv

    水印不再靠掷硬币选密钥:合并双密钥后,投机解码下多检出18到22个百分点

    大模型水印要在固定密钥下保留输出多样性,又要在投机解码中不降低草稿接受率,这两点此前难以兼得。TextSeal2把两个密钥的高斯值合并成一个虚拟密钥,再用高斯 copula 与新鲜噪声耦合,使检测器对每个词元都能读到完整信号;在投机解码下,它用草稿竞速的剩余量再做一次指数竞速来决定每轮最后一个词元。在三个模型上、相同多样性下,它比 TextSeal 多检出8到22个百分点的100词元答案,投机解码下比 TextSeal 和 textGrain 分别多检出18和22个百分点的200词元答案,接受率不变。

  2. arXiv

    联邦微调里的水印会被稳健聚合器洗掉:把水印更新伪装成内点,单个客户端用3.3%有效水印数据仍能验出

    在联邦大模型微调中,服务器用强拜占庭稳健聚合器RandEigen会把现有文本水印更新当作异常值滤掉,而把水印样本的输入嵌入优化成贴近干净更新的内点后,单个客户端仅凭自己3.3%的有效水印数据即可在训练后以黑盒方式验出模型用过该数据。

  3. arXiv

    多比特水印可被无密钥改写:几个账号就能把生成文本的账号标识换成别人

    多比特大模型水印的账号标识可以在不知道密钥的情况下被改写:攻击者只用几个自己的账号,就能让解码器把一段文本判给另一个账号。

  4. arXiv

    水印不再绑定分词器:改在UTF-8字节上定义,换掉分词器后检出率不变

    大模型文本水印的检测此前依赖生成方的分词器或语义嵌入管线,而文本本身并不透露用了哪一种,因此未知来源的文本难以核验。ByteMark把水印信号定义在已发布文本的UTF-8字节流上,参与模型用同一公开规范和密钥嵌入,检测方只凭文本和密钥即可验证。实验显示,替换检测端的分词器或嵌入模型后,词元级与句子级基线的检出率大幅下降,而ByteMark的检出率保持不变,并在模型接力续写和参与模型改写重嵌时仍可检出。

  5. arXiv

    近邻并列限制让水印指纹模型在同等可检测性下保住文本质量

    作者重新审视了基于水印蒸馏的大模型指纹协议,指出其效用评估低估了开放式生成中的文本质量退化,并提出“近邻并列限制”(near-tie restriction):用基座模型 top-1 相对 logit 差距把水印偏置限制在接近 top-1 预测的 token 上;在 Llama-3.2-3B、Qwen-2.5-3B、Llama-3.1-8B、Gemma-9B 上,该方法在采样、系统提示、量化、剪枝、微调等部署变换下改善了检测—质量前沿,在相同查询预算下保持更高文本质量,并能与 SWEET、MorphMark 结合进一步提升。

  6. arXiv

    SWIFT 将水印构建与 vLLM 推理引擎共服务,在文本生成上取得 4.87 效用分与 99.65% 检测准确率,延迟 0.905 秒

    作者提出 SWIFT,一个把文本生成与水印构建放在同一 vLLM 后端、同一 LLM、同一 GPU 上异步共服务的框架:它用指令引导的候选生成与实体保护产生上下文感知替换,用基于密钥的 Tournament 选择嵌入水印,并用自适应调度器按队列长度与等待时间压力动态调整水印请求准入;在 C4 文本生成上取得最高效用分 4.87、99.65% 检测准确率与 0.905 秒延迟,在替换攻击下保持 97.7% 检测率,在 GSM8K 与 MedMCQA 上不降低任务准确率,并达到 528.7 tokens/s 吞吐与 96.8% 前缀缓存命中率。

已读完全部报道