推理纠错不必重训模型:把指令放进新一轮用户话轮,四个推理器平均准确率从37.1%升到55.3%
导语
在四个推理器和六个数学基准上,把纠错指令作为新一轮用户话轮注入到学习选出的切点,平均准确率从37.1%升到55.3%,而推理器本身保持冻结。
正文
纠正失败推理轨迹的关键不在改写指令的措辞,而在注入的对话结构:同一句话放进模型自己的续写里几乎不改变走向,作为新一轮用户话轮送出则能改变走向。 此前的自纠方法要么微调推理器生成修订答案,要么训练外部评论者或验证器给出步骤级反馈,通常都要优化一个LLM规模的组件。 在固定生成预算下,测试过的行内注入(反思词、显式指令、甚至无关词)都未能可靠改变续写,而同样文本经话轮边界送出后续写成功率明显更高。
系统只训练两个轻量头部:一个决定在哪切,一个决定哪些轨迹需要纠正,推理器全程冻结。 此前的纠错方法通常要训练一个LLM规模的组件,这里改为在冻结编码器上训练一个130K参数的MLP头,仅凭重新生成后的最终答案对错来学习切点。 位置策略在DAPO-17K上训练30步,切点限定在段落边界;66K参数的门控在2,874条带正确性标注的轨迹上训练一次,并在所有推理器间复用。
纠错效果在多个推理器和基准上一致,并能迁移到未训练过的推理器和另一学科。 此前的方法通常绑定特定推理器,需要针对每个模型单独训练纠错组件。 在四个推理器(4B到32B)和六个数学基准上,UPTURN@16的平均准确率在每个基准上都高于Base@32;位置策略跨推理器迁移时平均提升17.9个百分点,对比目标训练的19.3个百分点,且不重新训练就迁移到GPQA-Diamond。
接下来
这套纠错流程在固定生成预算的前缀重生成设定下验证:保留选定前缀,把固定指令作为新一轮用户话轮注入,让冻结的推理器重新生成后缀。评估覆盖四个推理器和六个数学基准,另有跨推理器迁移和GPQA-Diamond上的无重训迁移。适合关注推理时纠错与测试时算力分配的研究者和工程师阅读。
研究聚焦于结果可自动校验的推理任务,且只采用一种刻意最小化的干预形式。更丰富的干预方式,以及成功难以校验的场景,可能需要不同的注入内容和切点选择,作者把这些留作后续工作。生成预算放大后优势收窄,在Qwen3两个推理器上Base@32追平或略超。
