跳到主要内容
检索

Muyao Yuan

1 篇关联报道

订阅更新
  1. arXiv

    推理模型学会在局部停笔:LoCo只改继续或收尾的偏好,数学补全长度减少41.7%–45.4%

    大推理模型常在信息已经足够后继续长篇推理,推高解码延迟与显存开销。LoCo把压缩决策放到单个推理状态上:从模型自身轨迹中找出过度思考的候选状态,冻结该前缀,重新生成更短且答案验证正确的续写,再用DPO学习“继续还是收尾”的偏好。在五个数学基准上,补全长度减少41.7%–45.4%,准确率保持或提升;仅用数学数据训练后,同一模型在三个代码基准上长度减少23.4%–36.3%。

已读完全部报道