让机器文本“更像人”反而更易被检测：RoBERTa 检测器在扰动下追踪统计复杂度，并在正式人类写作上出现 76.3% 假阳性
相关研究与后续进展
核心概要
该工作用 M4 数据集（N = 10,000）与受控生成（N = 300）对基于 RoBERTa 的 AI 文本检测器施加语义、结构和分词器层面的扰动，发现让 Mistral-7B-Instruct 把机器文本改得更像人时动词多样性从 0.77 升到 0.92、输出反而更易被检测，检测分数似乎追踪统计复杂度，并在正式人类写作上产生 76.3% 的假阳性率；作为对照，基于事件的潜在空间检测在复述后 87% 的事件序列发生改变（Jaccard = 0.067），同形字替换改变了 70% 的抽取动词（Jaccard = 0.30），其最佳领域 AUC 为 0.577。
Figure 1: Left: Verb Diversity before (0.766) and after (0.924) Mistral-7B rewriting, with the human baseline (0.572). Right: stability of statistical features (79.4%) and of event sequences (13.1%) under rewriting.
arXiv深度剖析
监督式 AI 文本检测器在基准上报告高准确率，但其判定依据并不清楚；该工作通过语义、结构和分词器层面的扰动来考察一个基于 RoBERTa 的检测器实际依赖什么。 相对以往只报告基准准确率的工作，这里把检测器放到受控扰动下观察其决策随何种特征变化，从而把“准确率”问题转为“依据什么特征”的问题。 使用 M4 数据集（N = 10,000）与受控生成（N = 300），并设置语义、结构、分词器三类扰动条件。
当要求 Mistral-7B-Instruct 把机器文本改得更像人时，动词多样性从 0.77 升至 0.92，输出反而更容易被检测；检测分数似乎追踪统计复杂度。 这揭示了一个反直觉现象：以“人性化”为目标的改写并未降低可检测性，反而因统计复杂度上升而更易被识别。 基于受控生成（N = 300）的改写实验，报告动词多样性 0.77 到 0.92 的变化。
检测器在正式人类写作上出现 76.3% 的假阳性率。 该数字把检测器对统计复杂度的依赖与对正式人类文体的误判联系起来，说明高基准准确率并不直接对应真实写作场景中的可靠性。 在正式人类写作样本上测得 76.3% 的假阳性率。
作为对照，基于事件的潜在空间检测在复述后 87% 的事件序列发生改变（Jaccard = 0.067），同形字替换改变了 70% 的抽取动词（Jaccard = 0.30），其最佳领域 AUC 为 0.577；RoBERTa 的鲁棒性似乎与其所用特征相关，结构抽象并未使检测更鲁棒。 该对照表明另一类检测范式对语义与字符级扰动同样敏感，且结构抽象这一路径没有带来预期的鲁棒性提升。 报告复述后事件序列改变比例 87%、Jaccard = 0.067，同形字下抽取动词改变 70%、Jaccard = 0.30，最佳领域 AUC = 0.577。
启示与展望
该工作面向使用监督式 AI 文本检测器的研究者与部署方，适用于以 M4 数据集和受控生成（N = 300）为代表的英文文本场景，以及语义、结构、分词器层面的扰动条件。它使后续工作可以沿着“检测分数追踪统计复杂度”这一线索，去检验检测器在正式人类写作上的假阳性来源，并比较不同检测范式（如基于事件的潜在空间检测）在复述与同形字扰动下的表现。
检测分数“似乎”追踪统计复杂度这一表述本身带有不确定性，其具体机制仍需进一步刻画；76.3% 的假阳性率来自正式人类写作这一特定文体，其他文体的表现尚不清楚；对照检测的最佳领域 AUC 为 0.577，说明该范式在当前设置下区分能力有限，其在不同领域与扰动组合下的行为仍是开放问题；此外，所加载文本为摘要级内容，未包含图表与完整实验细节，因此对扰动强度、样本构成与统计检验的进一步判断需要查阅原文。