跳到主要内容
返回时间线
researchsquare.com来源发表:

离散对数也能顿悟:42.7万参数模型先背下答案,再在素数阶群上泛化

核心概要

一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟:先长期记忆,随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描,顿悟在多个规模上重现,中间存在一段随训练数据量改变结果的非单调区间;隐藏状态在泛化时逐渐对齐乘法特征结构,素数阶子群与训练中未见生成元的对照也保持成功泛化。

Source-provided article image: Grokking the Discrete Logarithm: Scaling Across Model Capacity and Mechanistic Analysis
Figure 1 · researchsquare.com · 第 6 页

深度剖析

有限域离散对数这类逆映射上也能出现顿悟,即模型先长期停留在记忆状态,之后才突然获得泛化能力。 此前的顿悟研究主要集中在前向代数运算,例如模加法和模乘法,其目标映射由简单的群运算直接给出;离散对数则是循环群上的逆映射,没有简单的局部输入输出规则。 锚点模型在p=113、30%训练比例下,训练准确率在第90轮就超过99%,测试准确率却长期停在随机水平约2.2万轮,直到约3.7万轮才升到99.8%,顿悟延迟比约为298。

顿悟并非只在单一模型规模上出现,容量扫描显示它在多个神经规模上重现,但中间存在一段结果随数据量改变的非单调区间。 扫描覆盖9万到1440万参数的12个模型,训练比例在35%到60%之间变化,因此这是一张经验性的容量—数据图,而不是固定单变量的容量定律。 42.7万参数模型在33%训练数据下达到96.2%,而65.7万和109万参数模型在同一比例下只到25.7%和28.5%;65.7万参数模型在40%训练数据下则顿悟到99.6%,164万参数以上模型在分阶段数据安排下均达到至少99.2%。

泛化发生时,隐藏表示逐渐对齐乘法特征结构,也就是与离散对数坐标参数化的傅里叶基一致。 群结构探针显示复合一致性与循环移位准确率随测试准确率同步上升,说明模型不只是记住输入输出对,而是在发现离散对数的代数结构。 在预反嵌入层上,代数感知符号回归优先选出cos(2πx/q)与sin(2πx/q),在维度54上R²达到0.42,而自由符号回归在同一维度只有0.04;自由回归在不知道模运算的情况下也独立恢复出接近π/2和π的角频率,对应q=112的有效傅里叶谐波。

顿悟不局限于光滑合数阶群,也不局限于训练中见过的生成元。 p=113时群阶为112=16×7,属于光滑合数,存在利用子群分解的捷径可能;素数阶对照排除了这一解释。 在F∗227的113阶子群上,6组实验全部顿悟,包括M04的三个随机种子和一组训练与测试生成元不相交的分布外划分,后者在32.6万轮达到100%测试准确率;该素数阶模型的谱参与比为96.0,而合数阶M04为28.9。

启示与展望

这项工作展示的范围是小有限域上的学习动力学:主要实验在p=113,另有一次p=521的扩展检查,作者明确表示这些设置不支持关于实际密码分析的结论。容量扫描覆盖9万到1440万参数的12个模型,训练比例在35%到60%之间变化,因此它给出的是多尺度顿悟与数据依赖的非单调区间,而不是受控的单变量规模定律。作者把匹配样本复杂度的估计列为单独的确认性研究,并指出p=521的整数词表随域大小增长,因此该扩展不用于声称固定容量的规模缩放。

作者把容量与数据部分纠缠列为限制:训练比例在M07到M12之间变化,因此扫描不能作为受控单变量定律。主容量扫描大多为单种子,靠近经验边界处需要多种子重复才能估计顿悟概率。符号回归对单个隐藏维度的拟合仍属中等,作者认为更强的机制性结论需要多维符号模型、全定义域精确验证与因果干预。作者还指出,锚点结果依赖渐进式权重衰减安排,要确定哪些训练成分是因果而非仅相关,需要额外的优化器与正则化对照;此外,作者观察到18次弹弓事件伴随顿悟转变,但明确不声称弹弓是顿悟的必要条件。