大模型标注不再当标准答案：AAELI把人工审计花在刀刃上，达同一精度少用约21%人工标签
核心概要
大语言模型可以廉价标注全部样本，但其判断有偏且误差相关，直接当作人工标签会误导统计推断。AAELI把模型输出当作辅助信息来引导有限的人工审计，并用可预测的经验似然过程构造随时有效的置信序列，使研究者在数据依赖的停止规则下仍能保持覆盖率。在Chatbot Arena上，AAELI把置信序列宽度压到0.10平均需要约870个人工标签，而最强基线RASI约需1100个，节省约21%。
深度剖析
AAELI让大语言模型的判断只负责引导人工审计和提供辅助矩，而不再被当作人工标签本身，从而在有限审计预算下估计人工标签的总体均值。 此前把模型预测与少量人工标签结合的预测驱动推断只用预测改进估计，不用预测决定哪些样本送人工标注；主动统计推断虽按预测不确定性分配标注，却把预测器视为给定。 在Chatbot Arena上，AAELI把置信序列宽度降到0.10平均需要约870个人工标签，最强基线RASI平均约需1100个，节省约21%；在AllSides与Misinfo数据集上，AAELI同样以更少人工标签达到目标宽度。
方法把逆概率加权的人工标签与基于模型输出的辅助矩堆叠成增广估计方程，再由经验似然自动确定二者的组合系数。 经验似然长期用于通过矩条件引入辅助信息，但已有做法假定带标签样本独立同分布且事先收集，不处理按预测自适应选取标注的情形。 在自适应审计下，这些估计方程对真实总体均值条件均值为零并构成鞅差序列，因此无需对模型判断作无偏、校准或独立假设。
人工审计概率按人工标签的条件标准差分配，该标准差由已审计数据在线学习，从而在相同审计概率下限与长期预算下逼近已知真值时的最优方差。 按条件标准差比例分配测量资源在调查抽样中是经典做法，但此前没有把由模型输出构造的辅助矩与审计规则联合起来刻画可达到的效率。 在合成数据上，AAELI的审计规则接近使用已知真值的最优规则，在宽度0.10处比均匀审计少用10.4%的人工标签，而按模型不确定性或模型间分歧分配则接近或差于均匀审计。
启示与展望
演示范围是人工标签总体均值的估计，覆盖合成数据与Chatbot Arena、AllSides、Misinfo三个真实数据集，真实数据中每个样本使用三个低成本模型判断作为辅助信息。方法面向需要在流式标注中监控精度并随时停止的研究者与工程团队。
分析假定评估总体平稳且人工标签无噪声，分布漂移与带噪或不一致的人工标注尚未处理；方法也把模型判断视为对每个样本都可免费获得，未考虑查询多个模型的异构成本。