arXiv来源发表:
评委池里强弱混杂也能聚合：AGORA用题目反应理论学信任权重，样本缩到几百条仍占优
核心概要
大模型评审常被用来替代昂贵的人工评估，把多个评审聚合起来是抵消单个评审偏差的常规做法，但评审池里强弱混杂，而用于验证的人工标注集往往只有几百条甚至更少。AGORA把每个条目放在一条潜在质量尺度上，用敏感度参数和有序评分阈值描述每个评审，从而在全部条目上联合学习评审可靠性，且不需要人工标签。在三个基准上，AGORA在大型评估集上与Dawid-Skene持平或更好，且随着集合缩小到几百条，其优势扩大。
深度剖析
多评审聚合不再把强评审和弱评审按同一权重平均，而是让每个评审的可靠性从全部条目中联合估计出来。 此前的做法是对每个条目取平均，这会把弱评审和强评审同等加权；Dawid-Skene这类混淆表模型则要为每个评审估计一张误差表，而验证集只有几百条时条目太少。 在三个基准上，AGORA在大型评估集上与Dawid-Skene持平或更好，并且随着集合缩小到几百条，优势扩大。
聚合器把每个条目放到一条潜在质量尺度上，评审的可靠性由它对条目的敏感程度和一组有序评分阈值刻画。 这一结构来自题目反应理论，即用题目难度与作答者能力共同解释评分的那类统计模型；在这里，条目位置和评审参数在同一模型中一起估计。 评审池越不均衡，AGORA仍保持准确；一个无需标签的离散度统计量可以事先提示信任加权何时有用，学到的信任权重也与各评审的人工效度走向一致。
启示与展望
已展示的范围是三个基准上的聚合比较，覆盖大型评估集到几百条的小集合，以及评审池不均衡程度上升的情形；材料未说明这些基准之外的任务或评审类型。
材料以摘要形式给出结论，未列出具体基准名称、条目数量和各项指标数值；优势随集合缩小而扩大这一趋势的量化幅度也未给出。