测试集可能已被训练见过：评估可行性被证明只取决于分布是否集中在小支撑集上
核心概要
大模型训练语料常覆盖公开基准，评估者难以再假定测试集是全新的。该工作在不假设测试集未参与训练、也不约束模型或训练算法的条件下形式化了“可评估性”，证明仅凭测试集上的模型输出做准确评估，当且仅当数据分布接近小支撑集时可行，并给出紧到对数因子的样本复杂度上下界；若允许额外查询模型，借助程序测试中的自纠正器可扩大可评估的分布范围。
深度剖析
评估的可行性被归结为数据分布的一个性质：分布是否把大部分概率质量集中在少数点上。 以往评估依赖一份未参与训练的新鲜测试集，并假定样本独立同分布地抽自目标分布；当训练语料覆盖互联网时，这一新鲜性假设越来越难以保证。 在只观察模型在测试集上输出的设定下，准确评估可行当且仅当分布接近小支撑集，所需样本量由分布的集中程度参数和误差定量决定，且该界在最坏情况下紧到对数因子。
评估者不需要知道模型如何训练，只需把待测指标写成逐样本得分的期望，再对样本上出现的点估计得分、对未出现的点取保守默认值。 该做法把准确率、平方损失、对数损失、允许弃答的错误率、分组准确率与幻觉率等指标统一为同一类可估计对象。 对集中程度为给定序列的分布类，算法以相应数量的样本把得分估计到给定误差，失败概率可控；当概念类只含确定性映射、得分对预测线性或得分向量稀疏时，样本量还可进一步降低。
若分布不集中，仅靠测试集输出无法可靠评估，但允许评估者额外查询模型可以部分弥补。 额外查询此前在程序测试中以自纠正器的形式出现，用于在少数查询下恢复一个接近目标函数的值。 在奇偶函数、juntas 等具体函数类与相应分布类上，配合少量带标签样本和新鲜无标签样本，评估器能以远少于常规要求的样本量给出估计。
启示与展望
结论针对的是可写成逐样本得分期望的指标，在只观察测试集输出、可额外查询模型、以及可获取新鲜无标签样本这几种访问设定下分别给出；分析假定分布固定，不涉及分布漂移。
主要否定性结论依赖一个刻意构造的对抗性学习器，作者提出可研究对学习器施加何种可验证的限制；评估算法不需要模型配合，模型被设计成更易评估或参与评估过程时的能力仍是开放问题；指标解释的有效性也未纳入框架。