BF16在强化学习后训练里追平FP16：随机舍入让低学习率下的收敛不再被权重卡住
在可验证奖励强化学习常用的低学习率下，BF16混合精度训练比FP16收敛更慢，原因是FP32影子权重舍入到BF16时，小幅更新常被舍入抹掉，权重连续几步不变。把这一量化步骤从就近舍入改为随机舍入后，BF16在1.5B、14B与30B-A3B模型和两个数学数据集上的奖励轨迹与FP16一致，同时相对参考模型的KL散度低于提高学习率的BF16，并保留BF16的动态范围、无需损失缩放。
可验证奖励强化学习首次拿到提示级差分隐私保证：奖励信号在噪声下仍能提分
可验证奖励强化学习（RLVR）用带标准答案的题目训练语言模型，但训练题本身可能涉密，模型权重会泄露它见过哪些题。DP-GRPO 把同一道题的全部回答合成一个梯度、只裁剪一次并加高斯噪声，使发布权重的隐私预算与每题回答数和裁剪范数无关，作者称这是 RLVR 训练的首个差分隐私保证。在 Qwen2.5-1.5B-Instruct 上以 LoRA 训练、每次运行预算为 8 时，奖励信号相对去掉奖励的对照在 MATH 上提高 2.65 个百分点、GSM8K 上提高 3.24 个百分点，且每个随机种子都为正。
同一套权重跑两遍：Metis-1.6用1.02T token把Logos推到40项基准第7，数学排第2
Metis-1.6发布两个从零训练的语言模型Praxis与Logos，每个token都让同一套Mamba-2与注意力混合专家堆栈跑两遍，各用1.02T token训练。Logos在40项后训练基准上平均52.93，在17个模型中排第7，比Qwen3-4B低0.75分；但披露数据量的对比模型训练中位数为12T token，超过它的模型都至少用了28T。数学上它30个模型中排第2，AIME 2025为67.50%，代码、指令跟随与长上下文偏弱。
长上下文RL训练不再等自回归：稀疏自草稿加全注意力验证，吞吐提升1.39倍
长上下文RLVR的rollout生成改用稀疏注意力起草、全注意力验证，在Qwen3-1.7B与Qwen3-8B上把端到端训练吞吐提高到自回归的1.39倍和1.35倍，同时保持任务表现相当。
异步RL训练把上下文挤进更少解码步，INT4 KV缓存提速却掉点，选择性INT8保护补回精度
异步RLVR训练在维持高并发时把上下文处理压缩进更少的解码步，使KV缓存而非权重成为主要开销。KV4-RL用免校准INT4存储全部上下文，只对注意力汇点和最近上下文做有界INT8保护，在Qwen3-4B-Base与Qwen3-8B-Base的全参数GRPO训练中，六项基准平均准确率与BF16 rollout相差不超过0.5个百分点，同时显著加快rollout与整轮迭代。
混合推理模型的无思考模式RL增益大半来自思考泄漏：8B上抹掉8维思考子空间，增益掉75%
在Qwen3-1.7B、4B、8B上以GRPO做无思考模式强化学习，准确率提升的同时回答变长、反思词增多、内部激活向原模型的思考模式偏移。权重缩放、激活替换与注意力头干预三类实验显示，这部分增益主要来自对原模型已有思考能力的重新激活，而非学到新的推理行为；8B上替换8维思考子空间可去掉75%的增益，反向替换可把50%的增益转移给原模型。
教师监督不再逐词照搬：按对奖励的影响加权，数学基准最高涨6.5个百分点
蒸馏教师模型的监督信号时，不再对每个词一视同仁，而是先估计该词对更新后奖励的影响再决定权重。此前的方法依赖不确定性或师生分歧这类代理指标，未必对应真正提升奖励的监督。RAD用一次临时优化步做可微打分，再以投影上升更新词权重，在相同训练响应预算下把六个竞赛数学基准的平均准确率对Qwen3-1.7B提升6.5个百分点、对Qwen3-4B-Instruct-2507提升2.5个百分点，并在LiveCodeBench-v6上取得54.69%与58.67%的pass@1。
RL-ARC 用推理置信度校准答案置信度，在分布外基准上把 ECE 降到 0.16 并保住准确率
该工作提出 RL-ARC，一种校准感知的强化学习框架，在 RLVR 基础上同时提取模型对推理过程的置信度与对答案的置信度，把推理置信度作为辅助信号：预测正确时用它正则化答案置信度，预测错误时用它施加过度自信惩罚；在数学推理与分布外复杂推理、事实问答基准上，RL-ARC 的校准指标优于既有校准感知训练方法，同时准确率与仅优化正确性的 RLVR 相当。
检索信用如何分配决定搜索智能体训练收益：局部信用让Qwen3-4B平均F1从51.25升至54.34
该研究构建了带中间证据标注的语料接地问答数据，比较三种检索信号（证据覆盖Cov、带依赖覆盖Cov-Dep、答案匹配AM）在标量奖励加成与动作对齐局部信用两种分配方式下的效果，用Qwen3-4B在七个问答基准上训练，发现局部信用优于标量，Cov-local平均F1达54.34，高于仅用结果奖励的51.25。
同一奖励、不同技能：多模态强化学习何时学会“看”
该研究提出“视觉可解性”设计规则，要求正确答案必须依赖视觉证据且任务可学习，并在反事实坐标场景上用标准 GRPO 与正确性加格式奖励训练 Qwen2.5-VL-7B：在比训练更密集的留出 20 点场景上，发现目标准确率从 0.425 升至 0.875；把测试图像换成灰色画布后准确率降为零，而用灰色画布训练在匹配的第 30 步、四个随机种子下几乎不产生该增益，说明增益来自训练图像；在相同图像、奖励与预算下加入能回答训练问题的说明文字，增益减少近三分之二。