# 所罗门诺夫归纳

该工作提出「零数据自博弈预训练」的概念验证：从随机初始化开始，一个生成器提出由通用图灵机解释的程序以产生字节序列，一个学习器以标准交叉熵自回归预测这些字节序列，生成器则用强化学习被训练去产出处于学习器能力前沿的序列，从而形成自适应课程；由于生成器与学习器都未在自然数据上训练，作者用自然数据上的零样本表现作为迁移的干净检验，结果在多个自然数据集上零样本损失随自博弈算力呈现可预测的缩放，模型还表现出上下文学习，并在训练中发现可识别的数学序列。

该工作提出「零数据自博弈预训练」的概念验证：从随机初始化开始，一个生成器提出由通用图灵机解释的程序以产生字节序列，一个学习器以标准交叉熵自回归预测这些字节序列，生成器则用强化学习被训练去产出处于学习器能力前沿的序列，从而形成自适应课程；由于生成器与学习器都未在自然数据上训练，作者用自然数据上的零样本表现作为迁移的干净检验，结果在多个自然数据集上零样本损失随自博弈算力呈现可预测的缩放，模型还表现出上下文学习，并在训练中发现可识别的数学序列。