# 蒸馏温度

大模型蒸馏长期沿用温度τ=1，并据此认为反向KL优于正向KL。该研究从梯度上说明，温度主要改变正向KL学到的教师分布、对反向KL则主要是缩放梯度；在GPT-2与OPT的指令跟随基准上，τ=1时反向KL领先，调高温度后正向KL稳定反超，在策略内蒸馏中GPT-2 Base的正向KL平均ROUGE-L从16.95升到21.24。

大模型蒸馏长期沿用温度τ=1，并据此认为反向KL优于正向KL。该研究从梯度上说明，温度主要改变正向KL学到的教师分布、对反向KL则主要是缩放梯度；在GPT-2与OPT的指令跟随基准上，τ=1时反向KL领先，调高温度后正向KL稳定反超，在策略内蒸馏中GPT-2 Base的正向KL平均ROUGE-L从16.95升到21.24。