跳到主要内容
返回时间线
arXiv来源发表:

小模型推理蒸馏不再用固定题库:只给1000条轨迹,4B模型在IMO-AnswerBench从62.9升到75.3

核心概要

长链推理蒸馏的训练题不再一次选定:BoundaryEvo让学生与固定专家反复对同一批题作答,只挑专家能可靠解出、学生尚未掌握的题,用1000条训练样本把Qwen3.5-4B在IMO-AnswerBench上的准确率从62.9提到75.3。

Source-provided article image: BoundaryEvo: Data-Model Co-Evolution at the Capability Boundary for Long-Chain Reasoning Distillation
Figure 1 · arXiv

深度剖析

长链推理蒸馏的训练数据可以随学生能力变化而重新挑选,而不是在训练开始前一次性固定。 此前的蒸馏流程先生成并过滤好一批固定的教师轨迹,之后反复训练同一批数据;也有方法按学生当前做错的题来选数据,但只对错误作出反应,没有显式跟踪能力如何变化。 在Qwen3.5-4B上,同样1000条训练样本、同样Stage 1起点和训练预算下,BoundaryEvo在11个推理基准上一致优于随机选择和LLM2LLM,数学平均分比两者分别高8.7和6.4分,通用推理平均分高2.5和1.2分。

做法分两步:先让学生具备基本推理能力,再让题目跟着学生的能力边界走。 第一阶段叫能力预热,直接蒸馏100条教师生成的长推理轨迹,不做额外的模型打分或按能力差距过滤;第二阶段每一轮让学生和固定专家各自解同一批候选题,由分析器同时判断能力差距、数据质量和题目有效性,只保留专家能可靠解出而学生尚未掌握的题。 第二阶段从1999道候选题中筛选,三轮共训练1000条样本(100加300乘3),每轮用LoRA监督微调更新学生,并把上一轮未解决的题按配额回放、其余名额按质量排序补入新题。

启示与展望

报道覆盖的是无工具的长轨迹蒸馏场景:学生是紧凑模型,候选题库与专家固定,每轮学生更新后重新估计能力边界。适用读者是研究小模型推理蒸馏与训练数据选择的研究人员和工程师。作者表示代码与数据将公开,并计划发布题目编号清单、排除计数与完整评测配置。

作者指出,2B学生出现更早饱和、跨轮增益更不稳定,说明模型容量可能限制长期演化。数据效率比较只衡量样本数,不含学生与专家推理、分析器判断和教师轨迹生成的开销,各论文的数据集定义与过滤策略也不同。轨迹长度分析是观察性的,不建立因果关系。