# 自适应人工审计

大语言模型可以廉价标注全部样本，但其判断有偏且误差相关，直接当作人工标签会误导统计推断。AAELI把模型输出当作辅助信息来引导有限的人工审计，并用可预测的经验似然过程构造随时有效的置信序列，使研究者在数据依赖的停止规则下仍能保持覆盖率。在Chatbot Arena上，AAELI把置信序列宽度压到0.10平均需要约870个人工标签，而最强基线RASI约需1100个，节省约21%。

大语言模型可以廉价标注全部样本，但其判断有偏且误差相关，直接当作人工标签会误导统计推断。AAELI把模型输出当作辅助信息来引导有限的人工审计，并用可预测的经验似然过程构造随时有效的置信序列，使研究者在数据依赖的停止规则下仍能保持覆盖率。在Chatbot Arena上，AAELI把置信序列宽度压到0.10平均需要约870个人工标签，而最强基线RASI约需1100个，节省约21%。