大模型标注不再当标准答案:AAELI把人工审计花在刀刃上,达同一精度少用约21%人工标签
大语言模型可以廉价标注全部样本,但其判断有偏且误差相关,直接当作人工标签会误导统计推断。AAELI把模型输出当作辅助信息来引导有限的人工审计,并用可预测的经验似然过程构造随时有效的置信序列,使研究者在数据依赖的停止规则下仍能保持覆盖率。在Chatbot Arena上,AAELI把置信序列宽度压到0.10平均需要约870个人工标签,而最强基线RASI约需1100个,节省约21%。
大语言模型可以廉价标注全部样本,但其判断有偏且误差相关,直接当作人工标签会误导统计推断。AAELI把模型输出当作辅助信息来引导有限的人工审计,并用可预测的经验似然过程构造随时有效的置信序列,使研究者在数据依赖的停止规则下仍能保持覆盖率。在Chatbot Arena上,AAELI把置信序列宽度压到0.10平均需要约870个人工标签,而最强基线RASI约需1100个,节省约21%。
已读完全部报道