跳到主要内容
检索

# 基准冗余性

1 篇关联报道

订阅更新
  1. aclanthology.org

    基准去冗余可能删错:整体相关0.86的两项测试,在头部模型里排名几乎不再一致

    按整体相关性删除“冗余”基准,可能恰好丢掉区分头部模型的信息。对Open LLM Leaderboard v2的4,497个模型做copula依赖建模后,BBH与GPQA的整体Spearman相关为0.861,但限制到前20%模型时条件相关降到0.434,前5%时转为-0.278;15对基准中有7对由零尾依赖的Frank copula拟合,说明高相关不等于头部排名一致。

已读完全部报道