# 能力迁移

ScienceRSI把科学能力拆成专业化、验证、迁移与复用四步，让专家模型只在同一项科学要求上确实更优时才贡献反馈。在4B→4B设置中，科学推理平均分达到55.0%，比GRPO高2.0个百分点；用Qwen3-8B专家向Qwen3.5-27B目标迁移时，七项基准等权平均分从87.3%升至94.0%。去掉专家贡献验证后，同一4B学生的科学推理平均分从55.0%降至50.6%。

ScienceRSI把科学能力拆成专业化、验证、迁移与复用四步，让专家模型只在同一项科学要求上确实更优时才贡献反馈。在4B→4B设置中，科学推理平均分达到55.0%，比GRPO高2.0个百分点；用Qwen3-8B专家向Qwen3.5-27B目标迁移时，七项基准等权平均分从87.3%升至94.0%。去掉专家贡献验证后，同一4B学生的科学推理平均分从55.0%降至50.6%。

该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。

该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。

该工作提出主动无任务蒸馏（ATD），用公共祖先模型挑选它对两个普通单词几乎无偏好的无关提示，只让私有的后训练教师模型对每个提示返回一个单词，再用这些提示-单词对训练同源学生模型；在Qwen2.5-1.5B主实验中，5,664条单字回答使学生在HumanEval+上比严格匹配的干扰对照高出5.34个百分点，并在科学知识、常识推理和阅读理解等任务以及不同模型代际、规模和家族上观察到正向平均增益。

该工作提出主动无任务蒸馏（ATD），用公共祖先模型挑选它对两个普通单词几乎无偏好的无关提示，只让私有的后训练教师模型对每个提示返回一个单词，再用这些提示-单词对训练同源学生模型；在Qwen2.5-1.5B主实验中，5,664条单字回答使学生在HumanEval+上比严格匹配的干扰对照高出5.34个百分点，并在科学知识、常识推理和阅读理解等任务以及不同模型代际、规模和家族上观察到正向平均增益。

该工作发现多教师在线策略蒸馏（MOPD）仅靠域标签路由无法让学生超过最强单教师学生、且几乎不迁移数学专家的增益，原因是各域反馈尺度失衡（首个训练批次中指令跟随的对数比离散度是池化信号的 2.3–4.4 倍、数学约为一半，初始 4B 学生中指令跟随损失贡献了 94% 的合并梯度），于是提出 DN-MOPD：保留标签路由，用每批次池化与各域对数比标准差的裁剪比值对每个域的蒸馏优势做缩放，在 Qwen3.5-9B/4B/2B 上于 8K 与 16K 两个评测预算、三个学生随机种子下均提升六任务均分（16K 提升 1.17–2.36 个百分点，8K 提升 2.47–3.08），并找回大部分丢失的数学增益。

该工作发现多教师在线策略蒸馏（MOPD）仅靠域标签路由无法让学生超过最强单教师学生、且几乎不迁移数学专家的增益，原因是各域反馈尺度失衡（首个训练批次中指令跟随的对数比离散度是池化信号的 2.3–4.4 倍、数学约为一半，初始 4B 学生中指令跟随损失贡献了 94% 的合并梯度），于是提出 DN-MOPD：保留标签路由，用每批次池化与各域对数比标准差的裁剪比值对每个域的蒸馏优势做缩放，在 Qwen3.5-9B/4B/2B 上于 8K 与 16K 两个评测预算、三个学生随机种子下均提升六任务均分（16K 提升 1.17–2.36 个百分点，8K 提升 2.47–3.08），并找回大部分丢失的数学增益。