PivotOPD 把蒸馏集中在关键失误及其后几轮,让 Qwen3-1.7B 在 ALFWorld 上比最强基线高 5.5 个百分点
该工作分析 ALFWorld 上 Qwen3 系列(8B–235B)的失败轨迹,发现过半失败含有一个早期且通常可恢复的“关键失误”,据此提出 PivotOPD:用教师模型定位关键轮并给出金动作与后续恢复动作,以反向 KL 做预防蒸馏、以正向 KL 做恢复蒸馏,与组相对 RL 合并进一次 PPO 更新,在 ALFWorld、WebShop、Search-based QA 上对 Qwen3-1.7B 与 Qwen3-8B 均取得最高平均表现,并把增益迁移到 Nemotron-3.5 在 SWE-Bench Verified 上的解决率(+3.2%)。