北大等团队用单字回答蒸馏出编码能力：Qwen2.5-1.5B学生模型在HumanEval+上比严格对照高5.34个百分点
该工作提出主动无任务蒸馏（ATD），用公共祖先模型挑选它对两个普通单词几乎无偏好的无关提示，只让私有的后训练教师模型对每个提示返回一个单词，再用这些提示-单词对训练同源学生模型；在Qwen2.5-1.5B主实验中，5,664条单字回答使学生在HumanEval+上比严格匹配的干扰对照高出5.34个百分点，并在科学知识、常识推理和阅读理解等任务以及不同模型代际、规模和家族上观察到正向平均增益。