Yuntai Bao

该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。

该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。