大模型评测不再只看总分：60个模型44项任务压成8个技能维度，同分模型强弱其实不同

大模型评测的分数矩阵本身是低秩的，少数几个共享维度就能解释大部分跨任务表现，因此大量基准测的是重叠能力。 此前评测依赖不断增长的基准清单和单一聚合平均分，这些分数究竟反映了什么能力并不清楚。 对60个模型乘44项任务的成绩矩阵做因子分析，得到8个潜在维度，并用Kaiser λ>1规则和85%累计方差阈值确定因子数。

这8个维度被命名为可解释的技能，包括通用自然语言理解、蕴含与偏置、长文档理解、指令跟随与生成、领域知识问答、社会与伦理判断、精确性与忠实度、研究生级推理。 以往的做法是报告一长串任务分数或一个总平均分，任务与能力之间如何对应并不明确。 每个因子按其最高载荷任务命名，命名由GPT-4o和DeepSeek-R1根据代表性任务摘要提出，再由作者人工修订。

低秩技能空间可以直接支撑三类评测工具：判断新基准是否冗余、用少量任务刻画新模型、为新任务挑选合适模型。 常规做法是把新模型跑遍整套基准，成本高且耗时。 留一模型评估中20个未参与训练的模型平均重建误差为0.095，只有bloomz-1b7超过阈值；留一任务评估中代表性良好的任务平均皮尔逊相关超过0.85。

这套分析建立在60个指令微调模型和44项公开任务构成的成绩矩阵上，技能维度是在该任务集合内提取的，因子粒度反映的是统计支持、稳健性与可解释性之间的平衡，而非唯一正确的技能划分。三类工具都在留出数据上验证：新模型画像用12项高共同度任务，新任务选模型用12个模型估计任务载荷。作者提出下一步可做条目级分析，并扩展到多语言与多模态基准。

作者说明技能标签只用于阐述，因子提取、载荷与模型分数都不依赖具体措辞；8因子解在欠提取时出现技能合并或丢失，过提取时产生冗余的近正交轴。与Chatbot Arena的对照只覆盖双方共有的13个模型，聚合技能分与Arena Elo的斯皮尔曼相关为0.73，而单个技能与Arena的相关差异较大，其中蕴含与偏置为负相关。作者也指出，偏好式评测更看重流畅与自信，可能低估需要仔细核验的能力。