# 形态能力

开源模型的中间检查点显示，语言能力的形成有先后：形态结构在约1亿词元之前就开始起步，而语义嵌入要到10亿词元之后才启动，成熟也更晚。研究用教师强制评估Pythia与OLMo3的中间检查点，并借改造后的发散联想任务和远距离联想任务考察发散识别与关联词生成。结果显示，训练数据量更大有助于发散识别，而预训练中的共现与推理时的重复会削弱这两类能力。

开源模型的中间检查点显示，语言能力的形成有先后：形态结构在约1亿词元之前就开始起步，而语义嵌入要到10亿词元之后才启动，成熟也更晚。研究用教师强制评估Pythia与OLMo3的中间检查点，并借改造后的发散联想任务和远距离联想任务考察发散识别与关联词生成。结果显示，训练数据量更大有助于发散识别，而预训练中的共现与推理时的重复会削弱这两类能力。