Min Chen

深度网络在模加法任务上会先记住训练集、很久之后才突然泛化，这一现象被称为grokking。研究把训练轮次当作温度、权重衰减当作外场，用损失对每个神经元范数的二阶导数构造神经元之间的耦合，再按耦合图的Fiedler向量把神经元排成一维链，从而在原本没有空间结构的隐层上执行实空间重整化群。由这条链上的分块映射得到的五个临界指数，与从30次独立训练轨迹直接拟合的值相差1%–10%。

深度网络在模加法任务上会先记住训练集、很久之后才突然泛化，这一现象被称为grokking。研究把训练轮次当作温度、权重衰减当作外场，用损失对每个神经元范数的二阶导数构造神经元之间的耦合，再按耦合图的Fiedler向量把神经元排成一维链，从而在原本没有空间结构的隐层上执行实空间重整化群。由这条链上的分块映射得到的五个临界指数，与从30次独立训练轨迹直接拟合的值相差1%–10%。