隐形字符把机器文本藏进人类区间:归一化后再校准,0.1%误报下多召回5个百分点
核心概要
网页平台要在极低误报率下筛查大语言模型生成的帖子,而同形字和零宽字符这类肉眼不可见的编辑会把机器文本推入人类分数区间。NormDetect 先做 Unicode 归一化,再把按板块训练的小型分类头锚定到归一化后的 Binoculars 零样本分数上,混合权重在训练折上以人类误报上限为约束选出。在 RAID 八个板块、十一种攻击上,Falcon-7B 评分对下它在 0.1% 校准误报率时召回 55.5%,比归一化 Binoculars 高 5.0 个百分点,且每个板块的人类误报上界不超过 1%。
深度剖析
网页平台筛查机器生成文本时,最贵的错误是把人类作者误标,因此检测器要在极低误报率下运行,并且每个板块都要守住这条线。 此前的零样本检测器在低误报率下会丢掉大量召回,而肉眼不可见的字符编辑会让它们几乎失效。 在 RAID 开发集上,同形字和零宽空格把一篇帖子切成 1.5 到 1.8 倍的词元,Binoculars 的召回从 75.5% 跌到 4.2% 和 2.0%。
归一化能修好被字符编辑破坏的帖子,却修不了改写、同义替换这类没有字符可清理的攻击。 归一化把两类编辑切片的召回恢复到 56.3% 和 62.0%,其余十个切片不变,且在 7,521 篇人类文档上没有多出一个误报。 归一化后同义替换下召回仍只有 14.5%,改写攻击下为 45.9%,说明剩下的一半机器文本需要分数之外的证据。
NormDetect 把归一化后的 Binoculars 分数当作锚点,再叠加一个按板块训练的 logistic 回归头作为修正。 单独使用学习头在 0.1% 误报率下召回低于归一化分数,因此改为混合两个标准化后的分数,而不是替换锚点。 混合权重在训练池的五折上、以每折人类误报不超过 0.5% 为约束选出,阈值只在人类文本上校准一次。
在 Falcon-7B 评分对上,NormDetect 在 0.1% 校准误报率下召回 55.5%,高于归一化 Binoculars 的 50.5% 和裁剪似然比检验的 53.2%。 增益来自锚点阈值附近的近失样本:它多标出 36 篇锚点漏掉的开发文档,只丢掉 6 篇锚点标出的文档。 按源文章配对的 bootstrap 给出对归一化 Binoculars 的增益区间为 2.98 到 7.15 个百分点,八个板块的召回都更高,最大的人类误报上界为 Reddit 上的 0.91%。
启示与展望
演示范围是 RAID 训练划分的八个网页板块、十一种攻击,以及 Falcon-7B、Gemma-4-12B 和 Gemma-4-31B 三组评分对;阈值在人类文本上校准一次,再在独立人类集合上逐板块检查 95% 上界是否不超过 1%。
增益依赖评分模型对:在 Ministral-3-8B 和 Qwen3.5-9B 上,等误报率时 NormDetect 的增益消失;在 Gemma-4-31B 上,规则选中的权重以 Reddit 板块的守卫为代价换取召回。DIPPER 改写会重写整段文本,所有展示的检测器在该攻击上的人类误报都超过 1%。
