跳到主要内容
返回时间线
arXiv来源发表:

水印不再靠掷硬币选密钥:合并双密钥后,投机解码下多检出18到22个百分点

核心概要

大模型水印要在固定密钥下保留输出多样性,又要在投机解码中不降低草稿接受率,这两点此前难以兼得。TextSeal2把两个密钥的高斯值合并成一个虚拟密钥,再用高斯 copula 与新鲜噪声耦合,使检测器对每个词元都能读到完整信号;在投机解码下,它用草稿竞速的剩余量再做一次指数竞速来决定每轮最后一个词元。在三个模型上、相同多样性下,它比 TextSeal 多检出8到22个百分点的100词元答案,投机解码下比 TextSeal 和 textGrain 分别多检出18和22个百分点的200词元答案,接受率不变。

Source-provided article image: TextSeal2: Distortion-Free LLM Watermarking with Copula Mixing and Memoryless Races
arXiv

深度剖析

大模型水印现在可以在投机解码开启时保持草稿接受率不变,同时让被替换的草稿位置继续携带同一把密钥的水印信号。此前的做法要么在替换词元处换用独立密钥,使这部分文本只带第二把密钥的信号,要么在水印分布之间做验证,从而接受更少的草稿。 TextSeal 用掷硬币把每个词元分配给两把密钥之一,检测器不知道用了哪把,只能把两把密钥的分数平均,信噪比因此下降。textGrain 在每一步解码求解熵正则最优传输,检测更强,但它的投机解码配方每轮少发出约5%的词元。 在 Qwen3.5-9B 上、8个草稿、块验证下,无水分水印解码每轮发出2.74个词元;TextSeal2 的剩余量竞速与这一数字的配对差异在统计上为零,与命题1的预测一致,而基线差异至多同样很小。在相同 Self-BLEU 下,TextSeal2 检出59%/89%的100/200词元答案,TextSeal 为31%/71%,textGrain 为31%/67%。

采样器把两把密钥各自的均匀值映射到高斯空间后相加,得到一个虚拟密钥,再按 AutoMark 的高斯 copula 与每个位置新抽的噪声耦合。检测器直接对这个虚拟密钥打分,因此每个词元都贡献信号,而不是只有一半词元贡献信号。 这一步等价于把 AutoMark 的单密钥 copula 用在合并后的密钥上,所以两把密钥的方案在相同耦合强度下获得与单密钥 copula 相同的多样性和检测力,同时仍可公开其中一把密钥做较弱的公开检测。 在 Llama-3.1-8B、Qwen3.5-9B 和 Qwen3.5-27B 上,于 TextSeal 的 Self-BLEU 处插值,TextSeal2 比掷硬币方案分别多检出10、22和8个百分点的100词元答案;与分布上等同的 AutoMark copula 相差不超过3个百分点。合并四把密钥的检出与合并两把相当。

投机解码每轮的最后一个词元不再另抽密钥,而是在所有草稿竞速的剩余量上再跑一次指数竞速,一次选出停止位置和该位置的词元。 指数竞速的无记忆性保证:给定草稿后,落败车道的剩余量仍是独立同分布的指数变量,因此这次接力竞速复现块验证的结果分布,输出严格无失真,接受率与块验证相同。 在 Qwen3.5-9B 上,每轮最后一个词元占文本的36%到37%;在草稿密钥下,这些词元的平均分数为1.34,保留草稿为1.42,而用独立密钥抽取的 AutoMark 最后词元只有0.84,低于零假设均值1。在 AIME 数学题上,2048词元处 TextSeal2 检出41%,textGrain 自有配方为38%,其余基线为7%到22%,准确率不变。

启示与展望

评估覆盖三个领域(ELI5 开放式问答、MBPP 代码题、投机解码下的 AIME 数学题)和三个开源权重模型,温度在0.7到1之间;投机解码实验使用 Qwen3.5-0.8B 为 Qwen3.5-9B 起草,并统一用块验证。

在8个草稿的块验证下,投机解码相对标准解码损失2到4个百分点的检出;投机解码实现未做批处理,因此没有测量实际墙钟加速。评估未分析利用公开密钥知识的攻击,textGrain 无公开代码,对比使用重新实现,其部署参数可能不同。