跳到主要内容
检索

Jason Ken Adhinarta

1 篇关联报道

订阅更新
  1. arXiv

    自蒸馏的推理增益经不起换题:代码题上只在训练过的题目里有效,梯度方向还常与策略梯度相反

    两项自蒸馏方法在代码、科学推理、工具使用和数学任务上的增益,换到没见过的题目就消失或转为下降,数学上的提升主要来自把思考模式搬进非思考模式,而不是用了参考答案这类特权信息。

已读完全部报道