近邻并列限制让水印指纹模型在同等可检测性下保住文本质量
相关研究与后续进展
核心概要
作者重新审视了基于水印蒸馏的大模型指纹协议，指出其效用评估低估了开放式生成中的文本质量退化，并提出“近邻并列限制”（near-tie restriction）：用基座模型 top-1 相对 logit 差距把水印偏置限制在接近 top-1 预测的 token 上；在 Llama-3.2-3B、Qwen-2.5-3B、Llama-3.1-8B、Gemma-9B 上，该方法在采样、系统提示、量化、剪枝、微调等部署变换下改善了检测—质量前沿，在相同查询预算下保持更高文本质量，并能与 SWEET、MorphMark 结合进一步提升。
Figure 1: Overview of rethinking watermark teachers for model fingerprinting. Top: watermark-based fingerprinting distills a text watermark into model weights on a semantic domain such as French. The watermark splits tokens into green and red sets and biases green tokens to create a detectable statistical signal. Bottom: prior teachers bias every green token for individual-response detection, whereas fingerprint verification aggregates evidence across responses and permits sparser signals. Our near-tie restriction applies the bias only to green tokens near the top-1 logit.
arXiv深度剖析
重新评估发现，近期水印指纹协议在开放式生成中的文本质量退化被低估：在 Llama-3.1-8B-Instruct 复现中，法语基准准确率仅从 0.64 降到 0.61，但 PPL 从 4.63 升到 28.27，LLM 评分从 7.76 降到 3.73。 此前评估依赖准确率类任务，且报告的“PPL”实为平均 token 熵而非标准困惑度，因而偏向选择过强的水印教师。 在 500 条法语翻译 WritingPrompts 上复现基线设置，同时报告准确率、PPL 与 LLM 评分三类指标，退化在开放式生成中一致可见。
提出指纹验证可跨查询聚合信号，因此允许更稀疏的水印信号，并进一步分析稀疏信号应放在哪里：在基座概率质量与偏置强度匹配时，偏置放在基座模型认为更合理的 token 上会带来更小的惊讶度偏移。 以往水印蒸馏直接沿用为单条输出可检测而设计的解码期 KGW 教师，对全部绿色 token 施加偏置；本文指出指纹验证与文本溯源的目标差异，并给出信号放置的理论比较（命题 5.1）。 命题 5.1 给出等基座概率质量下不同放置的期望水印证据与 KL 散度相同、而低平均惊讶度子集惊讶度偏移更小的证明；随机放置对照在匹配教师绿色质量与 KL 的条件下产生更大惊讶度偏移和更大 PPL 比。
提出近邻并列限制（near-tie restriction）：用 top-1 相对 logit 差距把水印偏置限制在接近基座 top-1 预测的绿色 token 上，得到 KGW-NT，并保持零假设下绿色 token 率仍为 1/2，标准解析检测器仍适用。 与按固定 top-k 排名截断的 KGW-TK 不同，近邻并列按 logit 差距选择 token；与 SWEET、MorphMark 的机制互补，可进一步限制其偏置集合得到 SWEET-NT 与 MorphMark-NT。 在四个模型、法语与医学两个指纹域、五个部署变换下构建检测—质量前沿；KGW-NT 在同等文本质量下取得更高最坏情况 z 分数，且优于 KGW-TK，说明增益来自 logit 差距选择而非单纯稀疏化。
在查询预算分析中，KGW-NT 在每个预算下取得最低 PPL 比并保持稳健可检测性；部分 3B 模型设置 PPL 比低于 1，且多样性（distinct-2/3、self-BLEU）接近基座模型，LLM 评分不低于基座。 把“可检测性—文本质量”权衡从单点比较扩展为随查询预算变化的可达质量曲线，显示跨查询聚合证据可换取更高质量。 在 Llama-3.2-3B、Qwen-2.5-3B、Llama-3.1-8B、Gemma-2-9B 上报告各预算下最低 PPL 比；温度调优对照显示 KGW 即使额外扫描温度也无法追平 KGW-NT 前沿，说明增益并非单纯分布锐化。
启示与展望
该结果面向保留基座模型与密钥、只能通过查询访问可疑模型的黑盒所有权验证场景，指纹域以法语为主并额外验证医学域；方法适用于 KGW 类红绿水印及其扩展，在采样、系统提示、FP8/INT4 量化、WANDA/SparseGPT 剪枝与法语 WildChat 微调等部署变换下评估。对模型所有者而言，这意味着可以在给定查询预算下选择更稀疏、更靠近 top-1 的教师信号，从而在维持稳健检测的同时减少指纹域内的质量损失；对水印方案设计者而言，近邻并列提供了一种不替换原有机制、只收窄偏置 token 集合的改造方式。
近邻并列阈值按指纹训练数据上 top-1–top-2 logit 差距分布的百分位校准，不同数据分布下该百分位的迁移性仍需观察；作者也说明受算力限制未穷举联合超参数空间，SWEET-NT 与 MorphMark-NT 仅在代表性配置上评估。检测端只对满足键无关 logit 差距准则的位置计分，而教师端在 top-1 为绿色时仍会施加偏置，这一不对称对更极端部署变换的影响值得继续跟踪。此外，文本质量主要由外部参考模型 PPL 与 GPT-5 评分衡量，评分标准聚焦语法、不流畅、畸形词与过度重复，对更广泛任务层面的影响仍是开放问题。