# 顿悟现象

深度网络在模加法任务上会先记住训练集、很久之后才突然泛化，这一现象被称为grokking。研究把训练轮次当作温度、权重衰减当作外场，用损失对每个神经元范数的二阶导数构造神经元之间的耦合，再按耦合图的Fiedler向量把神经元排成一维链，从而在原本没有空间结构的隐层上执行实空间重整化群。由这条链上的分块映射得到的五个临界指数，与从30次独立训练轨迹直接拟合的值相差1%–10%。

深度网络在模加法任务上会先记住训练集、很久之后才突然泛化，这一现象被称为grokking。研究把训练轮次当作温度、权重衰减当作外场，用损失对每个神经元范数的二阶导数构造神经元之间的耦合，再按耦合图的Fiedler向量把神经元排成一维链，从而在原本没有空间结构的隐层上执行实空间重整化群。由这条链上的分块映射得到的五个临界指数，与从30次独立训练轨迹直接拟合的值相差1%–10%。

一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟：先长期记忆，随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描，顿悟在多个规模上重现，中间存在一段随训练数据量改变结果的非单调区间；隐藏状态在泛化时逐渐对齐乘法特征结构，素数阶子群与训练中未见生成元的对照也保持成功泛化。

一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟：先长期记忆，随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描，顿悟在多个规模上重现，中间存在一段随训练数据量改变结果的非单调区间；隐藏状态在泛化时逐渐对齐乘法特征结构，素数阶子群与训练中未见生成元的对照也保持成功泛化。