# 离散对数问题

一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟：先长期记忆，随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描，顿悟在多个规模上重现，中间存在一段随训练数据量改变结果的非单调区间；隐藏状态在泛化时逐渐对齐乘法特征结构，素数阶子群与训练中未见生成元的对照也保持成功泛化。

一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟：先长期记忆，随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描，顿悟在多个规模上重现，中间存在一段随训练数据量改变结果的非单调区间；隐藏状态在泛化时逐渐对齐乘法特征结构，素数阶子群与训练中未见生成元的对照也保持成功泛化。