小专家也能教大模型:ScienceRSI把8B专长迁到27B,七项基准均值升至94.0%
核心概要
ScienceRSI把科学能力拆成专业化、验证、迁移与复用四步,让专家模型只在同一项科学要求上确实更优时才贡献反馈。在4B→4B设置中,科学推理平均分达到55.0%,比GRPO高2.0个百分点;用Qwen3-8B专家向Qwen3.5-27B目标迁移时,七项基准等权平均分从87.3%升至94.0%。去掉专家贡献验证后,同一4B学生的科学推理平均分从55.0%降至50.6%。
深度剖析
科学模型的能力差异被拆到具体环节上处理,而不是整体比较两个模型谁更强。 训练一个擅长计算的模型和一个擅长机制分析的模型,并不自动得到能力更全面的科学助手,各自优势可能互补,也可能把错误一起带进新模型。 在4B与8B两组实验中,ScienceRSI在五项科学基准上的得分均位居所比较方法首位;4B→4B设置的科学推理平均分为55.0%,比GRPO高2.0个百分点。
专家反馈先经过验证再迁移,只有专家在同一项科学要求上优于当前回答时其贡献才被采用。 把多个专家的输出全部交给学生模型并不保证提升,同一4B学生上GRPO+MOPD的科学推理平均分为50.1%,低于GRPO的53.0%。 消融实验使用相同专家池,去掉专家贡献验证后科学推理平均分从55.0%降至50.6%,保留相同监督覆盖量但随机移动反馈位置后科学推理与领域科学平均分分别下降6.3和12.1个百分点。
启示与展望
已展示的范围是4B→4B同规模整合、4B→8B跨规模迁移,以及Qwen3-8B专家向Qwen3.5-27B目标迁移的扩展实验,评测覆盖科学推理、领域科学与通用推理共七项基准。8B→27B一组同时改变了目标规模与模型代际,因此被独立呈现。
报告验证了不同规模下的能力迁移,并未证明连续多轮递归一定能够持续积累收益;随着目标模型变强,专业化训练、任务难度与验证能力也需要同步提升。表2中的最佳与次优标记表示同一方法组内的点估计,不代表统计显著性。
