# AGORA 可靠性加权评判聚合方法

大模型评审常被用来替代昂贵的人工评估，把多个评审聚合起来是抵消单个评审偏差的常规做法，但评审池里强弱混杂，而用于验证的人工标注集往往只有几百条甚至更少。AGORA把每个条目放在一条潜在质量尺度上，用敏感度参数和有序评分阈值描述每个评审，从而在全部条目上联合学习评审可靠性，且不需要人工标签。在三个基准上，AGORA在大型评估集上与Dawid-Skene持平或更好，且随着集合缩小到几百条，其优势扩大。

大模型评审常被用来替代昂贵的人工评估，把多个评审聚合起来是抵消单个评审偏差的常规做法，但评审池里强弱混杂，而用于验证的人工标注集往往只有几百条甚至更少。AGORA把每个条目放在一条潜在质量尺度上，用敏感度参数和有序评分阈值描述每个评审，从而在全部条目上联合学习评审可靠性，且不需要人工标签。在三个基准上，AGORA在大型评估集上与Dawid-Skene持平或更好，且随着集合缩小到几百条，其优势扩大。