评委分歧不再被平均掉：只改争议条款，评委更一致，却离人类标注没更近

评委之间的分歧不再被平均掉，而是被当作评分标准哪里写得含糊的线索，用来定位并重写有争议的条款。 此前的做法是把多个评委的分数平均掉，或者对整份评分标准做一次改写；这里只改被选中的争议条款，其余文字不动。 在SummEval上，改争议条款把五位评委之间的Krippendorff α从0.577提高到0.646，比原标准高0.069（95%置信区间0.046到0.092），比同样改23条随机条款的对照高0.074（0.047到0.097）。

流程先把评分标准拆成原子子标准，再按评委两两给出不同判定的比例排序，只重写分歧率最高的少数条款。 选择规则是确定性的：每个维度取k等于min(5, n/2)条分歧率为正的子标准，按分歧率降序、同率按编号排序，编辑模型只看到条款、评委分歧的条目和评委给出的理由。 评测覆盖SummEval、HealthBench元评测和USR Topical-Chat三个带人类标签的基准，五位来自三家供应商的评委，共129,770次评委请求，两个编辑条件各改了23条条款。

评委之间更一致，并不等于评委更接近人类标注者。 在SummEval上，改争议条款后与专家评分的一致性变化为-0.007（95%置信区间-0.037到0.021），没有可检测变化；改随机条款的对照反而拿到最高的集成人类一致性0.516。 HealthBench和USR上，评委间一致性和人类一致性都没有达到预注册的效应标准；在预注册的次要比较中，改争议条款后的人类一致性在三个数据集上的点估计都低于改对照条款。

这套流程面向使用多评委小组给开放式输出打分的评测场景，输入是一份评分标准、一个开发集划分和一组评委，输出是改过的标准；它不读取人类标签，人类标签只用于评估结果。在SummEval上，改争议条款同时超过原标准和随机条款对照，达到预注册的效应标准。HealthBench上只有34条标准中的5条被改，涉及120个评测单元，占799个单元的15%；USR上若干维度在开发集上本已高度一致，数据集也小。代码转移阶段在本次评测中没有触发：编辑模型没有把75条子标准中的任何一条映射到四个确定性检查器，因此0.9的转移阈值没有被检验。

评委小组中五位有三位是Claude模型，另外两家供应商只由小模型代表，推理设置和输出上限也各不相同，因此供应商、模型规模和推理强度的影响是混在一起的。编辑模型与三位评委同属一个家族。评测使用已有的人类标签，这些标签本身有噪声，且三个数据集都是英文。SummEval被广泛使用，可能出现在评委的训练数据中。所有比较都没有做等价性检验，因此没有检测到变化不应读作没有变化。次要比较中三个数据集的人类一致性区间都包含零。