离线示范和在线轨迹不再分两段训练：一个回归目标让历史回答继续参与，数学推理平均正确率提高2.33个百分点

推理后训练不再需要先做监督微调、再切换到强化学习两个阶段，离线示范、当前策略采样和历史轨迹可以放进同一个带奖励标签的记录池，用同一个回归损失持续训练。 此前的常规做法是先在正样本思维链示范上做冷启动监督微调，再在模型自己生成的轨迹上做可验证奖励强化学习；两个阶段目标不同，负样本示范被排除在微调之外，正样本示范在强化学习开始后不再使用，旧轨迹批次即使验证奖励仍有信息也会被替换。 在Qwen3-1.7B上，统一配置的基准平均avg@32和pass@32达到44.57和68.46，比两阶段SFT加DAPO的42.24和64.02分别高2.33和4.44个百分点，并在四个基准的八项指标上均领先。

每个回答只按自己的验证奖励、参考策略对数概率和冻结的提示级归一化项构造一个回归目标，因此不同策略生成的正负回答可以共用同一条损失。 该目标不包含生成该回答的行为策略，所以不需要存储行为策略概率、重要性权重，也不需要训练评论家网络；离线、在线、离线和统一四种配置只是限制可训练数据来源后的特例。 训练使用16254条去污染数学提示，每条提示配两条正样本和一条负样本的DeepSeek-R1-Distill-Qwen-32B思维链轨迹，核心配置生成650160条回答、训练1280步，在AIME25、MinervaMath、AMC23和MATH500共842条提示上每条采样32个回答评估。

实验覆盖Qwen3-1.7B和Qwen3-8B两个规模，任务限于数学推理，奖励来自规则验证器，评估集为AIME25、MinervaMath、AMC23和MATH500共842条提示、每条32个回答。适合关注推理后训练流程和强化学习数据复用的研究人员与工程师阅读。原文没有提出下一步实验计划。

原文说明实验限于数学推理、Qwen3模型和规则验证器，对其他领域、模型家族以及带噪或主观奖励信号的泛化尚未测试；冻结提示归一化项需要额外的参考生成开销，跨领域或跨模型家族的离线分布偏移下的行为也尚未测试。