蒸馏采样不再照抄学生：Qwen3-4B数学均分涨6.91、生成长度降41%
核心概要
同策略蒸馏不再把学生自己采样的轨迹直接当作唯一采样分布：此前每轮都从当前学生采样，教师必须在学生走到、但自己很少到达的轨迹上给逐词监督，这类监督会变得有噪声，重复等退化模式还会在后续轮次被反复采样。新方法按教师相对支持度重加权，在KL信任域内得到学生与教师的几何混合，并训练一个提议策略在一次前向中近似该混合。16个数学、知识问答和医学推理基准上，Qwen3-4B-Base的数学平均准确率比OPD高6.91，平均生成长度低41%。
深度剖析
学生用自己的采样接受教师逐词监督的蒸馏训练，现在会让采样轨迹先向教师更容易到达的区域偏移。 标准做法把每轮采样策略固定为当前学生，教师因此要在学生低概率、自己很少生成的轨迹上给监督，噪声和重复模式会随轮次累积。 训练中让教师在同一提示下分别补全学生轨迹和教师自身轨迹后，学生轨迹补全的语义相似度随训练下滑，对推理步骤打分的过程奖励模型给更低分的提示比例上升；改用新采样后，第10百分位相似度比OPD高0.30，低分比例低18个百分点。
采样分布的目标改成学生与教师的几何混合，混合强度由教师相对支持度决定。 相对支持度是同一前缀下教师概率与学生概率的对数比；在KL散度限制的局部范围内最大化它的期望，解是学生与教师概率按幂次相乘再归一化的几何混合，单个标量在纯学生采样与纯教师采样之间调节，再由每轮从当前学生初始化的提议策略逼近，使生成只需一次前向。 评测在数学上覆盖Qwen3-1.7B-Base和Qwen3-4B-Base，知识问答与医学推理用Qwen3-4B-Base，合计16个基准。
启示与展望
演示范围是Qwen3家族内的同策略蒸馏：主实验用Qwen3-4B-Instruct-2507作教师，学生为Qwen3-1.7B-Base和Qwen3-4B-Base，覆盖数学、知识问答和医学推理，数学另扩展到8B学生。
提议策略只是对倾斜目标的近似，几何混合与信任域的解释针对理想目标；倾斜强度按固定标量处理，未随训练状态自适应；评测集中在Qwen3家族。