arXiv 2026年10月5日该工作从熵的视角研究知识蒸馏，证明前向KL会使学生模型熵高于教师模型，而交叉熵训练作为其特例给出一个可在预训练与监督微调中定量验证的恒等式；反向KL则压低熵直至学生与教师差距过大，两者之间插值在训练早期平滑改变熵、在收敛时突变；在线蒸馏的低熵来自词元级反向KL而非在线采样，散度因此充当隐式熵正则器，在自蒸馏中通过补偿特权信息条件化带来的熵收缩而体现其作用。该工作从熵的视角研究知识蒸馏，证明前向KL会使学生模型熵高于教师模型，而交叉熵训练作为其特例给出一个可在预训练与监督微调中定量验证的恒等式；反向KL则压低熵直至学生与教师差距过大，两者之间插值在训练早期平滑改变熵、在收敛时突变；在线蒸馏的低熵来自词元级反向KL而非在线采样，散度因此充当隐式熵正则器，在自蒸馏中通过补偿特权信息条件化带来的熵收缩而体现其作用。前向KL被证明会把学生模型熵抬到教师之上，蒸馏中的散度因此充当隐式熵正则器该工作从熵的视角研究知识蒸馏，证明前向KL会使学生模型熵高于教师模型，而交叉熵训练作为其特例给出一个可在预训练与监督微调中定量验证的恒等式；反向KL则压低熵直至学生与教师差距过大，两者之间插值在训练早期平滑改变熵、在收敛时突变；在线蒸馏的低熵来自词元级反向KL而非在线采样，散度因此充当隐式熵正则器，在自蒸馏中通过补偿特权信息条件化带来的熵收缩而体现其作用。该工作从熵的视角研究知识蒸馏，证明前向KL会使学生模型熵高于教师模型，而交叉熵训练作为其特例给出一个可在预训练与监督微调中定量验证的恒等式；反向KL则压低熵直至学生与教师差距过大，两者之间插值在训练早期平滑改变熵、在收敛时突变；在线蒸馏的低熵来自词元级反向KL而非在线采样，散度因此充当隐式熵正则器，在自蒸馏中通过补偿特权信息条件化带来的熵收缩而体现其作用。