基准去冗余可能删错：整体相关0.86的两项测试，在头部模型里排名几乎不再一致
核心概要
按整体相关性删除“冗余”基准，可能恰好丢掉区分头部模型的信息。对Open LLM Leaderboard v2的4,497个模型做copula依赖建模后，BBH与GPQA的整体Spearman相关为0.861，但限制到前20%模型时条件相关降到0.434，前5%时转为-0.278；15对基准中有7对由零尾依赖的Frank copula拟合，说明高相关不等于头部排名一致。
深度剖析
基准之间的高整体相关，不能保证头部模型在这两项基准上的排名一致。 按常规做法，Spearman相关高于0.8的基准对会被当作冗余而删去一项，这一判断默认依赖关系在整个能力谱上均匀。 在Open LLM Leaderboard v2的4,497个模型上，BBH与GPQA的整体相关为0.861，条件Spearman在前20%模型上降到0.434，前10%为-0.04，前5%为-0.278。
这种衰减来自基准对在分布尾部的依赖结构，而不只是整体相关的高低。 copula把每个基准的分数分布与两者之间的依赖结构分开，尾部依赖系数则描述一个模型在一项基准上进入顶端时，在另一项上也进入顶端的倾向。 15对基准全部由非高斯copula更优拟合，其中7对（47%）最佳拟合为Frank copula，其渐近尾部依赖为零，BBH与GPQA的ΔBIC为237，MATH与MMLU-Pro为585。
排名崩塌在去掉同一基座模型的微调变体后仍然存在。 原始4,497个模型包含大量同一基座的微调版本，会高估有效自由度。 去重到779个基座模型家族后，BBH与MUSR和MATH与MMLU-Pro的聚类自助法家族稳定性分别为98%和96%，ΔBIC置信区间整体高于零；BBH与GPQA较弱，为76%，区间跨零。
启示与展望
结论建立在Open LLM Leaderboard v2的6项推理与知识类基准上，并在BenchPress（316项基准）与kensho/WILD（27项基准、65个来自独立机构的模型）上做方向性复现；多模态或生成类基准是否同样表现尚未涉及。
λU等于零是Frank copula家族的参数性质，而非独立测量；非参数的5%经验尾部集中度在0.06到0.61之间，说明有限样本下尾部依赖是大幅减弱而非严格为零。头部排名崩塌究竟来自能力专门化还是训练数据构成，原文列为未解问题。