不改一个权重,只把中间层跑两遍:Qwen3-1.7B 在 GSM8K 上从 42.30% 升到 79.61%
LoOPSD 不改权重、只让同一模型重复执行一段中间层来造出更强的自教师,再把它的预测蒸馏回标准路径的学生;GSM8K 上 Qwen3-1.7B 在 400 token 思考预算下从 42.30% 升到 79.61%。
LoOPSD 不改权重、只让同一模型重复执行一段中间层来造出更强的自教师,再把它的预测蒸馏回标准路径的学生;GSM8K 上 Qwen3-1.7B 在 400 token 思考预算下从 42.30% 升到 79.61%。
已读完全部报道