大模型标注不再当标准答案:AAELI把人工审计花在刀刃上,达同一精度少用约21%人工标签
大语言模型可以廉价标注全部样本,但其判断有偏且误差相关,直接当作人工标签会误导统计推断。AAELI把模型输出当作辅助信息来引导有限的人工审计,并用可预测的经验似然过程构造随时有效的置信序列,使研究者在数据依赖的停止规则下仍能保持覆盖率。在Chatbot Arena上,AAELI把置信序列宽度压到0.10平均需要约870个人工标签,而最强基线RASI约需1100个,节省约21%。
大语言模型可以廉价标注全部样本,但其判断有偏且误差相关,直接当作人工标签会误导统计推断。AAELI把模型输出当作辅助信息来引导有限的人工审计,并用可预测的经验似然过程构造随时有效的置信序列,使研究者在数据依赖的停止规则下仍能保持覆盖率。在Chatbot Arena上,AAELI把置信序列宽度压到0.10平均需要约870个人工标签,而最强基线RASI约需1100个,节省约21%。
对只能模拟、无法计算似然的模型,SLICE 把每个候选参数下的新模拟当作参照,把观测得分归一化成条件 e 值,连乘后反演得到随时有效的置信序列。有效性不依赖得分是否准确,得分只决定序列收缩的快慢;在合成基准、LLM API 模型替换审计和 OGLE-IV 微引力透镜数据上,用摊销神经比值估计作得分,效果接近精确似然比和针对具体应用的得分。
已读完全部报道