BayesJudge 将冲突的人类与 LLM 评判建模为后验分布，在 SummEval 上把专家预测准确率提升到 65.3%
作者提出 BayesJudge，一个面向冲突人类-LLM 评判流的在线贝叶斯元评估层：它对每个比较输出后验裁决分布，同时估计每位人类评分者的混淆矩阵与 LLM 的呈现顺序偏差，并用开放式平局标签与 AB/BA 顺序互换作为协议级识别工具；合成实验恢复了预设评估者参数，在 SummEval 上检测到 LLM 位置效应、在无评分者元数据下区分专家与众包工作者行为特征，且后验不确定性与人类分歧相关。