Ranajoy Sadhukhan

预训练稠密模型可以在继续训练阶段扩容，而不必从零训练稀疏架构。STAPLE 保留原有的前馈网络上投影，只把零初始化的词元索引嵌入表作为残差通路接入，让新参数学习互补的词元信息。在 OLMo-2 1B 上，它相对继续稠密训练把十项基准平均分从 44.39 提到 45.59，HumanEval 涨 4.27 分、MBPP 涨 2.80 分、GSM8K 涨 2.27 分、DROP 涨 1.65 分；增益在 OLMo-2 7B 上仍然存在。

预训练稠密模型可以在继续训练阶段扩容，而不必从零训练稀疏架构。STAPLE 保留原有的前馈网络上投影，只把零初始化的词元索引嵌入表作为残差通路接入，让新参数学习互补的词元信息。在 OLMo-2 1B 上，它相对继续稠密训练把十项基准平均分从 44.39 提到 45.59，HumanEval 涨 4.27 分、MBPP 涨 2.80 分、GSM8K 涨 2.27 分、DROP 涨 1.65 分；增益在 OLMo-2 7B 上仍然存在。