当裁判学会说“我不确定”:决策式评判与置信度级联
该研究把只输出判决与标签概率的决策式评判器 JEV 与十六个生成式与奖励模型评判器在偏好、事实性与答案裁定任务上对比,并配合盲法人工裁定,发现它在普通偏好与有证据支撑的事实性判断上距最强对比模型 GPT-6 不到三个百分点而费用约为其 0.36%,差距主要集中在低置信度决策上,因此一个“置信即接受、不确定即升级”的冻结级联可在更低成本下保留约 99% 的对比模型准确率。
该研究把只输出判决与标签概率的决策式评判器 JEV 与十六个生成式与奖励模型评判器在偏好、事实性与答案裁定任务上对比,并配合盲法人工裁定,发现它在普通偏好与有证据支撑的事实性判断上距最强对比模型 GPT-6 不到三个百分点而费用约为其 0.36%,差距主要集中在低置信度决策上,因此一个“置信即接受、不确定即升级”的冻结级联可在更低成本下保留约 99% 的对比模型准确率。
已读完全部报道