# 长程检索

该研究在500M至7B四种参数规模、四种预训练数据混合、五种预预训练任务和最高100B token的预训练预算下系统评估合成预预训练（PPT），发现其下游性能与token效率收益在规模上持续存在（3B规模至少节省21B预训练token），但没有一致证据表明收益来自语法先验，收益只出现在能改善长程检索的PPT任务上，且对代码与数学占比不敏感、仅在缺少网页文本时消失。

该研究在500M至7B四种参数规模、四种预训练数据混合、五种预预训练任务和最高100B token的预训练预算下系统评估合成预预训练（PPT），发现其下游性能与token效率收益在规模上持续存在（3B规模至少节省21B预训练token），但没有一致证据表明收益来自语法先验，收益只出现在能改善长程检索的PPT任务上，且对代码与数学占比不敏感、仅在缺少网页文本时消失。