创意评测其实在测长尾：把基准里最不常见的样本挑出来，模型排名更贴近人类偏好

创意基准整体落在参考分布的长尾一侧，标准能力基准则落在常见区域。 此前创意基准与标准基准被当作两类互不相干的评测，任务与指标设计差异很大，甚至给出相反结论。 在写作、数学推理、自由问答三个任务域、共 15 个基准上，创意基准的输入与输出罕见度都高于同域标准基准，写作域的合并检验显示两类分布差异显著。

做法是把每个样本的罕见程度算成一个分数，再按这个分数把基准切成若干等量区间。 此前比较模型创意只能整体平均，或另建一套创意基准。 罕见度用 Pile 预训练语料中缺失的 n-gram 比例衡量，输入与输出的罕见度取几何平均作为共享分数，同一输入的样本被分进同一区间，模型在每个区间内按平均任务质量排名。

在基准内部，越靠尾部的区间给出的模型排名越接近人类创意写作偏好。 头部区间与人类排名的吻合度接近随机水平。 Arena-Hard Creative Writing 上第 4、5 区间与 LM Arena 创意写作排名的一致性明显高于第 1 至 3 区间，GPQA-Diamond 上出现同样方向，十分位切分下区间罕见度与排名一致性的关联在统计上显著。

这套分析面向使用现有创意与标准基准的评测设计者和模型开发者，覆盖写作、数学推理、自由问答三个任务域，参考分布取 Pile 预训练语料，罕见度用 n-gram 缺失比例衡量。作者提出，服务科研人员的基准可以改用强调本领域文献的参考分布，并建议在基准说明中写清参考分布、评测区间与指标选择。

作者说明，n-gram 统计只捕捉表层罕见度，不直接测量语义、概念或文化层面的新颖性，换用人类创作语料、模型自采样或领域语料可能得到不同的尾部估计。模型排名也可能受质量估计器影响，而质量估计器存在架构、长度、风格与领域偏差。最强的人类对齐分析依赖 LM Arena 创意写作排名，它反映自选用户的整体偏好而非单独隔离创意的判断，且创意排名本身与模型总体能力高度耦合，因此尾部表现可能同时反映通用能力、领域知识或对罕见输入的稳健性。