跳到主要内容
返回时间线
researchsquare.com来源发表:

大模型评测表九成是空格:不跑测试,用同能力基准间的显式校准补出71%的缺失分数

核心概要

在401个模型、146个基准版本组成的评测矩阵中,实测格子只占8.3%,benchgap不运行任何评测,而是对每一对同能力基准在共同测过的模型上拟合单调曲线,按留一交叉验证误差选型,并给每个估计附上误差与置信等级。在遮住15%实测分数的端到端留出测试中,它填出71%的格子,平均绝对误差4.6个百分点,比同格上的秩2矩阵补全基线低23%;它留空的格子上,基线误差为11.8个百分点。

Source-provided article image: Mind the Gap: Explicit Cross-Benchmark Calibrations for Estimating Missing LLM Evaluation Scores
researchsquare.com

深度剖析

公开榜单上的模型×基准分数矩阵大部分是空的,benchgap把空缺格子当作可估计量,用已测分数直接补出估计值,而不必再跑一次评测。 在汇总的401个模型与146个基准版本中,实测格子只占8.3%,中位基准版本只有16.5个模型有分数,因此需要完整矩阵的能力画像与模型选择都从缺失数据开始。 在遮住15%实测格子的端到端留出测试中,流水线填出71%的被遮格子,平均绝对误差4.6个百分点,比同一批格子上的秩2矩阵补全基线的5.9个百分点低23%。

每个估计都能追溯到一条具名的源基准到目标基准的校准曲线,而不是来自一个全局隐空间模型。 此前的矩阵补全与缩放律方法在隐空间里做一次全局拟合,只报告一个聚合误差;这里每条校准只在一对同能力基准之间成立,并自带留一交叉验证误差。 快照中存有1,147条单变量校准,中位R²为0.71、中位留一误差5.1个百分点;另有21条多变量映射,中位留一误差1.9个百分点,但只承担了1.4%的估计。

估计值按置信等级分层发布,等级越高,实测误差越低。 留出测试中高、中、低三档的平均绝对误差分别为3.1、5.1和7.5个百分点,说明按声称误差排序与按实际误差排序一致。 但同一测试中实际均方根误差是所声称留一均方根误差的1.4到1.7倍,高置信档的实际均方根误差5.1个百分点已超过定义该档的5个百分点阈值。

同一基准在不同评测框架下给出的分数并不一致,这种差异在智能体型基准上最大。 在条目集已核对的同基准版本对上,智能体型基准平均相差8.7个百分点,无工具基准为2.3个百分点。 在Humanity’s Last Exam上开启工具后,两种设置都测过的11个模型分数全部上升,平均提高10.0个百分点,符号检验p=10⁻³。

启示与展望

演示范围是一个数据快照:401个模型、146个基准版本、4,887个实测分数,全部数字对应2026年10月8日检索的数据。适用读者是需要跨榜单比较模型或做模型选择的研究者与工程师,估计值只针对具体基准版本,即预测该来源的评测框架会测出什么。

留一误差是跨曲线族与映射选出的最小值,因此偏乐观,留出测试中实际均方根误差为声称值的1.4到1.7倍,且尾部较重。留出格子来自与拟合数据同分布且偏容易的一端,按发布矩阵的置信构成重加权后,一个已发布估计应预期的误差约为5.9个百分点平均绝对误差。对只有一两个实测分数的稀疏模型,流水线只填出19%到26%的剩余格子。多变量映射在样本外未复现其更低的样本内误差,被报告为尚未证实。