# 软多词元预测

多词预测（MTP，让模型一次预测多个未来词元）已是语言模型预训练的常见组件，但标准MTP的交叉熵梯度里混有一项低信噪比的残差，随规模增大而更嘈杂。Soft-MTP把这一残差从梯度中剔除，只回传其中隐含的KL自蒸馏信号，做法是复用已有的交叉熵梯度、不额外生成词表大小的logit矩阵，代码改动仅一行。在167M到1.2B参数的LLaMA式模型上，Soft-MTP在每个规模都优于标准MTP：下一词困惑度更低、自推测解码更快、零样本准确率更高；从689M起多词困惑度也更低，1.2B微调后数学与代码推理更强。

多词预测（MTP，让模型一次预测多个未来词元）已是语言模型预训练的常见组件，但标准MTP的交叉熵梯度里混有一项低信噪比的残差，随规模增大而更嘈杂。Soft-MTP把这一残差从梯度中剔除，只回传其中隐含的KL自蒸馏信号，做法是复用已有的交叉熵梯度、不额外生成词表大小的logit矩阵，代码改动仅一行。在167M到1.2B参数的LLaMA式模型上，Soft-MTP在每个规模都优于标准MTP：下一词困惑度更低、自推测解码更快、零样本准确率更高；从689M起多词困惑度也更低，1.2B微调后数学与代码推理更强。