分歧标签不足以定F1排名:两次一致性计数给出精确区间,0.01容差把标注量压到74.59
在只标注模型预测不一致的样本之后,两个一致性计数就能给出F1差值的精确上下界,从而在指定容差内认证两个分类器中该选哪一个,或指出还需要补查哪些一致性标签。在3,200对冻结模型预测上,共享同一标签补全的联合界在0.01容差下认证了保留单元中79.46%的选择,而分别求界只认证6.57%;按幅度排序时,0.01容差把全部配对的总标注量从121.16降到74.59,全标注为500。保证只针对被评估的这一批样本,不延伸到未来数据。