大模型蒸馏里被默认设成1的温度：调高后正向KL反超反向KL，GPT-2 Base平均ROUGE-L多出4.29
核心概要
大模型蒸馏长期沿用温度τ=1，并据此认为反向KL优于正向KL。该研究从梯度上说明，温度主要改变正向KL学到的教师分布、对反向KL则主要是缩放梯度；在GPT-2与OPT的指令跟随基准上，τ=1时反向KL领先，调高温度后正向KL稳定反超，在策略内蒸馏中GPT-2 Base的正向KL平均ROUGE-L从16.95升到21.24。
深度剖析
大模型蒸馏中正向KL与反向KL谁更强，取决于蒸馏温度，而不是固定结论。 此前的比较多在默认τ=1下进行，并据此得出反向KL更优。 在GPT-2 XL到GPT-2 Base的策略内蒸馏中，τ=1时反向KL的平均ROUGE-L为19.97、正向KL为16.95；正向KL在τ=3.5升到21.24，反向KL只提高0.44后随温度升高而下降。
温度对两种目标的作用方式不同：它改变正向KL所匹配的教师分布，对反向KL则主要是重新缩放梯度。 正向KL以软化后的教师概率为目标，温度把概率质量从高logit词元移向低概率词元；反向KL的梯度由学生加权下的师生logit差驱动。 温度趋于无穷时两者梯度都化为师生logit匹配；在GPT-2 Base上，正向KL从19.41升到τ=3.0时的20.97，GPT-2 Medium从约19升到22以上，OPT-1.3B从不到21升到24以上，最佳温度落在2.5到3.5之间。
温度不只帮正向KL，也提升对称KL、JS、SFKL、AKL等一族KL类蒸馏目标，并改变它们之间的排名。 各目标在默认τ=1下的排序，在加入温度后不再成立。 GPT-2 Base上正向KL从19.70升到25.53，AKL提升最多、为6.62；OPT-1.3B上各目标提升从反向KL的3.46到AKL的4.88，AKL加温度取得最高的29.62。
启示与展望
结论来自英语指令跟随任务上的离策略与策略内蒸馏，教师模型最大到7B参数，Llama3.2与Qwen3两组采用LoRA微调；作者把更大教师、其他语言与任务类型列为后续工作。
作者指出受算力限制教师最大为7B，Llama3.2与Qwen3两组用LoRA而非全量微调，评估集中于英语指令跟随；温度带来的收益在反向KL类目标上较弱且需要仔细调参。