# JudgeBench

该研究在534个JudgeBench配对与1802个MT-Bench比较上，用嵌套分组交叉验证训练L2正则化线性探针，读取判决前残差流激活来预测LLM评判者因候选顺序交换而改变所选回答身份的位置翻转；四个评判者的AUROC为.621–.850，优于包含口头置信度、判决logit、长度差与初始选择的组合基线.062–.113，且冻结迁移到MT-Bench后AUROC为.685–.853。

该研究在534个JudgeBench配对与1802个MT-Bench比较上，用嵌套分组交叉验证训练L2正则化线性探针，读取判决前残差流激活来预测LLM评判者因候选顺序交换而改变所选回答身份的位置翻转；四个评判者的AUROC为.621–.850，优于包含口头置信度、判决logit、长度差与初始选择的组合基线.062–.113，且冻结迁移到MT-Bench后AUROC为.685–.853。

该研究把只输出判决与标签概率的决策式评判器 JEV 与十六个生成式与奖励模型评判器在偏好、事实性与答案裁定任务上对比，并配合盲法人工裁定，发现它在普通偏好与有证据支撑的事实性判断上距最强对比模型 GPT-6 不到三个百分点而费用约为其 0.36%，差距主要集中在低置信度决策上，因此一个“置信即接受、不确定即升级”的冻结级联可在更低成本下保留约 99% 的对比模型准确率。

该研究把只输出判决与标签概率的决策式评判器 JEV 与十六个生成式与奖励模型评判器在偏好、事实性与答案裁定任务上对比，并配合盲法人工裁定，发现它在普通偏好与有证据支撑的事实性判断上距最强对比模型 GPT-6 不到三个百分点而费用约为其 0.36%，差距主要集中在低置信度决策上，因此一个“置信即接受、不确定即升级”的冻结级联可在更低成本下保留约 99% 的对比模型准确率。