离线强化学习可验证奖励训练通常对固定采样池中每条回答的每个token都施加监督，但回答与token的信息量并不相同。GIST把策略与KL正则化RLVR的Gibbs最优目标之间的双向KL失配拆成前向与反向两项，据此在回答层用采样温度配对正确与错误样本，在token层只监督正确回答的低概率token和错误回答的高概率token。在Qwen3-0.6B/GSM8K的同候选池对照中，它监督的token比训练全部候选少66.6%，严格准确率45.79、灵活准确率49.73，均高于七个选择基线。
可验证奖励强化学习在超出模型能力的难题上会遇到学习悬崖：一组采样全部答错时，组内相对优势估计塌缩为零，更新拿不到信号。PICO只在全错组触发分布约束的联合解码，让掌握专家解的教师与学生逐词取候选交集，并用动态截断把采样分布限制在有限散度预算内，生成既通过验证又贴近当前策略的轨迹。在Qwen3-4B-Base与Qwen3-8B-Base上，PICO在AIME25、AIME26、HMMT26、MATH500、GPQA-Diamond与HLE六项评测的平均分分别为32.0和35.4，高于GRPO的27.9和31.8。
Dory1.0-4B 是一个 40 亿参数的循环式语言模型，同一份检查点可在推理时改变共享循环块的执行次数，从而按请求调节算力。它在 6 万亿 token 上预训练，前 4.5 万亿 token 用 NVFP4 训练，随后把上下文扩展到 256K，并用 SFT 与 RLVR 后训练。在 12 项基准的等权平均上，它从一圈的 35.2 升到两圈的 39.7、四圈的 40.6，两圈及以上时平均分高于 Qwen3.5-9B、Gemma 4 12B 和 Gemma 4 26B-A4B。
GRPO把同一提示下的所有采样放在一个组均值基线上打分，但同一提示的采样往往走不同解题策略，各策略的奖励分布并不相同。这项工作把子组均值相对全局均值的偏离定义为子组偏移，用一个带符号系数沿偏移移动基线：取正号把信用拉向采样在自己子组内的位置，取负号把信用拉向子组整体质量。在Qwen3-8B-Base与Olmo3-7B-Base、四个竞赛级数学基准上，两个方向相对共享同一策略采样、只改基线的对照都取得小幅但一致的提升，且集中在pass@16，负号方向更强。
在线策略蒸馏让学生自己生成推理轨迹来训练，但学生的前缀可能带着错误或教师不熟悉的写法，前缀越长，教师逐词给出的监督越不可靠。SPTA在蒸馏开始前先用随机长度的学生前缀训练教师，以最终答案是否正确为奖励，让教师学会从学生造成的状态里把推理拉回正轨，而不是模仿学生的推理；随后照常做在线策略蒸馏，蒸馏目标不变。在数学推理基准上，采用SPTA的学生平均表现优于标准在线策略蒸馏，也优于使用任务级强化学习适配教师的在线策略蒸馏。
多模态感知的训练数据不再逐任务定制。空间感知与长上下文理解此前各自依赖昂贵标注，而EVIDENCECONNECT改为在同一张图里挑出3到7个相关区域，用放大视图合成需要比较、汇总或串联证据的选择题，再以RLVR训练基座模型。ZwZ2-4B在ViewSpatial-Bench上从37.43升到45.26，在MileBench上从60.08升到70.08，25项基准平均从49.41升到54.79。
软件工程智能体的强化学习奖励不再只分通过和失败：让当前策略自己比较同一任务、同一验证结果下的调试轨迹，把偏好变成有界辅助奖励，在SWE-bench Verified上把Qwen3-14B的平均准确率从32.1%提到34.7%。
可验证指令遵循基准只检查输出约束是否满足，不检查回答是否真正回应请求，前沿模型因此能在几乎不答题的情况下拿满分。把同一验证器当作强化学习奖励，公开的 OLMo 3 检查点出现约束满足率升高而回答质量下降的奖励劫持。CaLIF 用冻结参考策略在请求下与请求加约束下的两个似然值划出一条区间，在区间内给固定奖励、区间外清零，在 1.7B 到 8B 的五种配置上把 IFBench 约束满足率从 26.98 提到 34.64，同时把回答质量维持在 4.59。
作者提出残差优势（RA）：把教师与学生的概率残差当作有界的一步奖励，减去学生策略下的状态价值形成优势，再在每条回答内中心化后加到验证器优势上，使验证器决定回答整体好坏、教师只在步骤间重分配信用；在Qwen3-1.7B/4B学生与Qwen3-8B教师上，RA配合GRPO或REINFORCE++在三个数学基准的24项三种子对比中全部提升，宏观Avg@8提高1.7–3.6分、Pass@8提高3.9–6.3分，均超过纯教师OPD；Co-RA用验证器优势在同一批学生数据上更新教师LoRA，再增1.0–1.5分Avg@8。
该工作从数学上证明，在稀疏奖励的 RLVR 中省略或截断对富集 rollout 的重要性权重校正会隐式重新加权所定义的奖励，并将由此产生的梯度误差分解为尺度、旋转与方差；作者提出一种序贯蒙特卡洛（SMC）权重校正机制，在稳定性与粒子序假设下把标准校正方差随样本长度的指数累积缓和为加性累积，并用该分析解释 Qwen3-1.7B 在 OpenMathReasoning 稀疏片段上微调的结果，说明富集（无论校正与否）如何帮助避免稀疏域中的崩溃。