分歧标签不足以定F1排名：两次一致性计数给出精确区间，0.01容差把标注量压到74.59
核心概要
在只标注模型预测不一致的样本之后，两个一致性计数就能给出F1差值的精确上下界，从而在指定容差内认证两个分类器中该选哪一个，或指出还需要补查哪些一致性标签。在3,200对冻结模型预测上，共享同一标签补全的联合界在0.01容差下认证了保留单元中79.46%的选择，而分别求界只认证6.57%；按幅度排序时，0.01容差把全部配对的总标注量从121.16降到74.59，全标注为500。保证只针对被评估的这一批样本，不延伸到未来数据。
深度剖析
只揭示模型间不一致样本的标签，并不总能确定两个分类器的F1谁更高；但把未知的一致性标签归结为两个计数后，F1差值可以被精确地夹在一个区间里，据此要么在给定容差内认证选择，要么继续查询一致性标签。 此前的做法要么依赖可迁移到验证数据上的基线敏感度与特异度，要么追求标签效率却不给出覆盖所有标签补全的确定性F1保证；而准确率差值在分歧标签揭示后已经确定，F1排名却仍可能随剩余标签的分配而反转。 在28个保留单元上，不提供患病率信息时，平均有20.54%的配对存在至少0.01的相容反向优势；提供精确患病率时该比例为10.52%，且没有配对恰好落在0.01边界上，因此在该容差下补集可被认证。
区间是否够紧，取决于是否保留两个分类器在同一批样本上的标签依赖，而不是把各自的界分开计算。 把两个模型的界分别求出来再比较，会丢掉它们共享同一组未知标签这一约束，得到的区间明显更宽。 在保留单元、容差0.01下，联合界认证79.46%的选择，分别求界只认证6.57%；给出精确患病率后分别为89.48%与18.80%，平均区间宽度分别为0.173对1.585、0.034对1.005。
按预测计数不平衡程度排序来查询一致性标签，配合0.01容差，可以大幅减少需要标注的样本数。 若要求严格分出胜负或判定精确平局，同一批配对需要更多标签；全量标注则每个配对都要500个标签。 在全部配对上，按幅度排序的总标注量从严格判定的121.16降到0.01容差下的74.59；在验证集选出的配对上从92.57降到40.29；零损失对照的总量为120.92与92.25，说明节省主要来自正容差而非平局。
启示与展望
结论适用于预测已固定、标签正确、指标为二分类正类F1的被评估批次，评测对象是36个单元去重后得到的3,200对模型预测，数据来自TableShift、EMBER、ToN-IoT与UNSW-NB15的既有预测产物，未重新训练模型也未采集新数据。
相容的极端标签补全不一定在实际中出现，因此认证结果不等于真实误差；成本不是最优查询的下界，也不能在配对之间相加；统计替代方法可以用假设或错误概率换取更少标签。作者说明分歧优先的标注顺序是设定而非可选项，基准复用也限制了结论的广度。