神经元没有位置，也能做粗粒化：重整化群把grokking的五个临界指数算到与实测差1%–10%
核心概要
深度网络在模加法任务上会先记住训练集、很久之后才突然泛化，这一现象被称为grokking。研究把训练轮次当作温度、权重衰减当作外场，用损失对每个神经元范数的二阶导数构造神经元之间的耦合，再按耦合图的Fiedler向量把神经元排成一维链，从而在原本没有空间结构的隐层上执行实空间重整化群。由这条链上的分块映射得到的五个临界指数，与从30次独立训练轨迹直接拟合的值相差1%–10%。
深度剖析
隐层神经元第一次被放上一条可粗粒化的一维链，grokking的延迟泛化因此可以用实空间重整化群的语言定量描述。 此前把grokking解释为相变的工作多依赖孤立的观测量，重整化群与深度学习的联系也主要停留在概念层面，缺少从网络内部表示出发的粗粒化推导。 在模加法任务的两层二次激活网络上，按Fiedler序排列后耦合强度随距离单调衰减，最近的一批神经元对平均耦合强于最远的一批，而随机排列给出完全平坦的分布。
训练过程被翻译成一套热力学量：总平方权重范数充当序参量，权重衰减是与它共轭的外场，训练轮次充当有效逆温度。 缩放分析所需的温度、场、序参量、磁化率在训练运行中没有现成对应物，统计系综也由独立训练种子构成而非Gibbs分布。 30次独立运行的测试准确率都在第170到182轮之间达到，跨种子的范数方差与损失方差分别作为磁化率和热容的代理量，磁化率峰值与测试准确率最大斜率被用作对齐点。
相邻神经元合并成块自旋后，耦合矩阵被压缩成两个坐标，其线性化映射给出两个相关缩放方向。 网络本身不提供神经元之间的距离或可供分块的格点，耦合空间也没有解析形式的映射。 在grokking中心附近65个配置构成的参数云上做加权最小二乘拟合，得到的热学与磁学两个本征值都大于1，对应五个临界指数。
五个临界指数的重整化群预测与直接测量在1%–10%内一致，七个模数上的有限尺寸标度给出约3%的偏差。 直接值来自彼此独立的拟合，因此Rushbrooke、Josephson、Widom等标度恒等式可以被真正检验，而不是靠构造自动满足。 相关长度指数由七个模数上的转变宽度拟合得到，直接值1.400对重整化群值1.444；把七个模数的转变曲线按重整化群指数重标度后数据塌缩到同一条曲线上。
启示与展望
演示范围是模加法任务上的无偏置两层二次激活感知机，使用全批量均方误差损失与AdamW训练，30次独立运行在第170到182轮之间达到测试准确率；所有热力学量都是有效描述，系综是种子系综而非Gibbs系综。
训练得到的模型并不严格是平衡态样本，AdamW的解耦权重衰减也不等同于在损失中直接加入显式项；热学方向的本征值为负被归因于截断映射的非对角占优，因此改用两步映射取正本征值；有限尺寸标度依赖两个假设，即不同模数由同一有效标度区控制、且以任务坐标周长为特征线性尺寸。