教师监督不再逐词照搬：按对奖励的影响加权，数学基准最高涨6.5个百分点
核心概要
蒸馏教师模型的监督信号时，不再对每个词一视同仁，而是先估计该词对更新后奖励的影响再决定权重。此前的方法依赖不确定性或师生分歧这类代理指标，未必对应真正提升奖励的监督。RAD用一次临时优化步做可微打分，再以投影上升更新词权重，在相同训练响应预算下把六个竞赛数学基准的平均准确率对Qwen3-1.7B提升6.5个百分点、对Qwen3-4B-Instruct-2507提升2.5个百分点，并在LiveCodeBench-v6上取得54.69%与58.67%的pass@1。
深度剖析
蒸馏监督的每个词现在可以按它对奖励的作用被加强、压制甚至反向，而不是全部照单接收。 此前的在策略蒸馏对每个词都施加教师监督，不区分教师的偏好是否真的提升任务奖励；已有的词选择方法依赖不确定性或师生分歧等代理量，这些代理量未必能识别出提升奖励的监督。 在相同训练响应预算下，六个竞赛数学基准的平均准确率相对最强基线提升6.5个百分点（Qwen3-1.7B非思考模式）和2.5个百分点（Qwen3-4B-Instruct-2507）。
权重来自对一次临时优化步的求导，先给每个词的监督打分，再从初始词权重出发做投影上升更新。 这套双层框架把蒸馏信号的权重与学生的更新后奖励挂钩，而不是与不确定性或师生分歧挂钩。 在LiveCodeBench-v6上，Qwen3-1.7B非思考模式与OLMo3-7B-Instruct分别达到54.69%和58.67%的pass@1，超过最强基线8.7和6.4个百分点。
简化变体RAD-Simple在相同训练响应预算下取得与完整方法相当的数学准确率。 完整方法需要区分每个词的监督贡献，简化变体则给出同等预算下的另一条路径。 数学准确率与完整RAD相当，且同样在相同训练响应预算下比较。
启示与展望
报道范围限于摘要级材料，覆盖六个竞赛数学基准与LiveCodeBench-v6，模型为Qwen3-1.7B非思考模式、Qwen3-4B-Instruct-2507和OLMo3-7B-Instruct，比较均在相同训练响应预算下进行。适合关注大模型后训练与蒸馏的研究人员和工程师阅读。
材料为摘要级，未给出权重更新的具体超参数、投影上升的收敛行为，也未说明RAD-Simple与完整方法在数学之外任务上的差异。跨模型家族与跨任务的结论来自所报告的两个模型家族和两类任务，尚未覆盖更多设置。