语言能力不是一起长出来的：形态在1亿词元前起步，语义要到10亿词元后才启动

语言模型的语言能力并非同步成形，形态结构的起步与成熟都早于语义嵌入的起步与成熟。 此前对语言习得的研究多集中在训练完成的模型上，中间训练阶段的发育轨迹很少被系统考察。 在Pythia各规模与OLMo3的中间检查点上，形态偏好的第一个转折点出现在约1亿词元之前，而语义嵌入的启动在10亿词元之后；Pythia的形态成熟平台出现在10亿至100亿词元之间，语义成熟平台则晚于1000亿词元。

形态习得呈现初始化、加速学习、成熟平台三个阶段，语义嵌入的漂移曲线也遵循同样的三段结构。 语义特征演化此前已被描述为初始化、涌现、收敛三个阶段，形态能力是否共享这一节奏此前没有跨时间与规模的对照。 用教师强制计算成对语法正确与错误目标的生成概率，Pythia在第二个转折点之后偏好正确形态形式的概率约为错误形式的30至35倍，OLMo3呈现相同趋势。

发散识别与关联词生成受训练数据量、共现和重复的共同影响，而非只随训练推进单调变好。 此前没有研究追踪创造力相关指标在语言习得过程中的演化，也没有考察其他语言能力如何影响它们。 在16个发散联想词表上，初始发展比与最终成熟比都接近最发散三元组占全部120个三元组的比例；消耗约19倍训练词元的OLMo3表现出增长的发散识别，而两个Pythia模型没有。

结论建立在Pythia系列与OLMo3的公开中间检查点上，评估采用教师强制下的成对目标概率，形态部分覆盖动词、名词与代词三类词法范畴的有限单元测试，其中代词考察所有格与性别一致。作者指出，教师强制设置无法考察以人称代词开头的词法范畴，因为这类词位于提示句首。发散识别使用改造后的回忆式发散联想任务，关联生成使用远距离联想任务，词表取自公开数据集中的16个中等难度十词表。研究面向关注训练动力学与语言能力评估的研究者，结论适用于所考察的开源模型族与相应训练数据。

形态测试被限定为覆盖既定词法范畴的简单单元测试，作者指出全面的形态学习测试超出其范围，且教师强制设置无法考察以人称代词开头的词法范畴。OLMo3未公开第一个转折点附近的早期检查点，因此其形态习得的起点未被直接观测。发散识别结果中初始发展比与最终成熟比接近三元组比例，作者认为这可能反映回忆式发散联想任务相对远距离联想任务的弱点。关联生成上模型倾向表面主题关联与高频共现词，作者将扩大形态数据集、分析初始化影响与增加检查点列为后续方向。