只看最后一层权重就能判断模型好坏：重尾谱为何有效有了统计解释，训练中还能标出过拟合拐点

模型质量现在可以只从训练好的权重矩阵读出，不需要训练集或测试集。 此前的模型质量指标依赖数据，在超大数据集上计算代价高，训练集不公开时根本无法计算。 在 ImageNet-1K 预训练的 torchvision 模型上，该自由能与 top-5 测试准确率的 Spearman 相关达到跨组强相关；Pythia 模型对 LAMBADA 准确率、Qwen3.5 对 MMLU-Pro 也呈强相关。

做法是把网络拆成非线性特征和最后一层权重两部分，再对特征求边缘似然。 在插值假设下，最小范数解包含特征与目标之间的全部关系，因此边缘似然可以只用最后一层权重写出。 推导在熵正则化训练框架下完成，取温度使边缘似然集中到插值流形上，得到只含迹项与对数行列式项的相对自由能。

把权重谱假设为高温 Marchenko-Pastur 分布后，自由能在尺度重尾参数上是凸的，存在唯一最优值。 此前重尾谱与模型质量的联系只是经验观察，缺少统计上的解释。 在随机矩阵理论的双渐近极限下取自由能的确定性极限，得到最优比值；ResNet50 在 CIFAR-10 与 CIFAR-100 上训练时，测试误差最低点与该比值吻合。

这套自由能目前只在最后一层权重和回归设定下推导，评估对象是已训练到插值的模型。对卷积网络和大语言模型，它都能在训练过程中跟随测试误差；对卷积网络，测试误差最低点出现在重尾比值达到最优处。作者提出，若能先验地给出该比值，就可以在训练中监测并在越过最优时提前停止。

作者指出，自由能只对最后一层权重和回归情形推导，对偶形式还不能直接比较激活维度不同的模型。在卷积网络训练中，先验精度参数需要事后调参才能得到好的相关性。使用 dropout 的模型和视觉 Transformer 未显示相关性，作者推测前者阻止了最后一层权重中的复杂关联，后者的特征与权重分解可能过于粗糙。