# 可评估性

大模型训练语料常覆盖公开基准，评估者难以再假定测试集是全新的。该工作在不假设测试集未参与训练、也不约束模型或训练算法的条件下形式化了“可评估性”，证明仅凭测试集上的模型输出做准确评估，当且仅当数据分布接近小支撑集时可行，并给出紧到对数因子的样本复杂度上下界；若允许额外查询模型，借助程序测试中的自纠正器可扩大可评估的分布范围。

大模型训练语料常覆盖公开基准，评估者难以再假定测试集是全新的。该工作在不假设测试集未参与训练、也不约束模型或训练算法的条件下形式化了“可评估性”，证明仅凭测试集上的模型输出做准确评估，当且仅当数据分布接近小支撑集时可行，并给出紧到对数因子的样本复杂度上下界；若允许额外查询模型，借助程序测试中的自纠正器可扩大可评估的分布范围。