推理模型学会在局部停笔：LoCo只改继续或收尾的偏好，数学补全长度减少41.7%–45.4%
核心概要
大推理模型常在信息已经足够后继续长篇推理，推高解码延迟与显存开销。LoCo把压缩决策放到单个推理状态上：从模型自身轨迹中找出过度思考的候选状态，冻结该前缀，重新生成更短且答案验证正确的续写，再用DPO学习“继续还是收尾”的偏好。在五个数学基准上，补全长度减少41.7%–45.4%，准确率保持或提升；仅用数学数据训练后，同一模型在三个代码基准上长度减少23.4%–36.3%。
深度剖析
推理压缩的监督信号从整条推理轨迹挪到了单个推理状态上，模型学的是在某个状态该继续推理还是直接收尾。 此前的轨迹级方法比较完整解答的长短，细粒度方法则删改轨迹中的冗余内容，两者都把轨迹本身当作压缩对象，较少直接约束“当前状态是否还需要继续推理”。 在AMC23、AIME24、AIME25上，LoCo把补全长度分别减少41.7%、45.4%、45.2%，而保持同一查询集与配对阈值的全局偏好变体只减少5.2%、11.1%、15.8%。
做法是先用模型自身的置信度筛出可疑状态，再让更强的评审模型确认下一步是否只是重复已确立的信息。 置信度低可能来自真正困难的子问题，波动大也可能对应合理的推理转向，因此单靠置信度无法区分冗余思考与真实难度。 筛选只用截至该步结束时可获得的信息，截断从下一步才开始，检测器不会看到它随后要删掉的续写；被标记的状态再由Qwen3-30B复核，只保留下一步被判定为冗余的状态。
在每个保留下来的状态上冻结前缀、重新采样续写，取答案与标准答案符号等价的最短一条，与原续写组成同一前缀下的偏好对做DPO训练。 偏好对的两条分支共享完全相同的推理前缀，比较因此只落在“从这个状态往后怎么写”上，而不是两条完整解答的整体长短。 训练数据全部来自DeepSeek-R1-Distill-Qwen-7B在纯数学题上自生成的轨迹，每题最多保留若干偏好对，并要求所选续写比原续写至少短一定token数；评测覆盖五个数学基准与MBPP、LiveCodeBench、CodeContests三个代码基准。
启示与展望
演示范围是DeepSeek-R1-Distill-Qwen-7B经LoRA适配器训练后的模型，评测覆盖五个数学基准与MBPP、LiveCodeBench、CodeContests三个代码基准，每题采样八条补全。
跨域提升被解释为重塑了模型对推理长度的偏好，而非注入任务特定知识，这一解释属于推断；外部续写变体表现较弱也被归因于分布对齐这一可能原因。