BF16在强化学习后训练里追平FP16：随机舍入让低学习率下的收敛不再被权重卡住
在可验证奖励强化学习常用的低学习率下，BF16混合精度训练比FP16收敛更慢，原因是FP32影子权重舍入到BF16时，小幅更新常被舍入抹掉，权重连续几步不变。把这一量化步骤从就近舍入改为随机舍入后，BF16在1.5B、14B与30B-A3B模型和两个数学数据集上的奖励轨迹与FP16一致，同时相对参考模型的KL散度低于提高学习率的BF16，并保留BF16的动态范围、无需损失缩放。
固定参考策略会让最优回答概率塌缩：把KL参考定期重置到最新策略，PPO与GRPO变体重新获得全局收敛保证
语言模型后训练常用的策略优化以基座模型为起点，但REINFORCE（PPO与GRPO的基础）可能在奖励上升的同时把最优回答的概率压到接近零，即使有KL正则化到基座模型、即使使用精确梯度，收敛也可能需要指数多步。把KL正则化的参考策略定期重置为最新策略，可形式化为近似策略镜像下降（APMD）：每个子问题在强正则下局部求解，多次重置累积到全局最优。对softmax线性策略，该框架首次给出带参考重置的PPO、GRPO变体以及Kimi风格平方损失算法的全局收敛与覆盖保持保证。
训练与推演不再各算各的：vime 与 RL-Kernel 在 AMD MI300X 上连续 200 步对数概率逐位一致
强化学习后训练中，训练引擎与推演引擎即使模型、权重和输入相同，也会因算子、并行方式和归约顺序不同而算出不同的对数概率，进而影响重要性比、KL 诊断和裁剪。vime 负责对齐训练时间线，RL-Kernel 负责对齐数值执行，二者在 AMD Instinct MI300X 上把注意力、前馈网络、对数概率和通信路径统一到同一数值契约。在 8 卡 MI300X 上运行 Qwen3-8B 的 GRPO 实验，严格路径连续 200 步的 mismatch_count 与 max_abs_diff 均为零。
推理模型强化学习训练不再只调执行：RPEG把流水线结构也纳入搜索，256块GH200上相对ReaL最高提速2倍
推理语言模型的强化学习训练每步要串起生成、评估、训练多个大模型，现有系统通常只优化其中一部分。RPEG把流水线结构（有界异步、actor–critic共享）与执行方案（阶段融合、细粒度调度、多维并行）放进同一张图里联合搜索，并配一个经硬件校准的解析性能模型。在最多256块GH200上，其运行时相对ReaL端到端最高提速2倍，相对verl每步延迟最高降低2.48倍，硬件利用率最高提升30%。
强化学习权重重灌不再整张广播：NCCL M2N Reshard 开源，重灌延迟最高降到原来的约五分之一
强化学习后训练中，训练与推理分置在不同 GPU 上，每步都要把最新权重从训练侧搬到推理侧，这一步叫重灌。传统做法先把完整参数聚合再广播，推理 GPU 即使只要一小片也会收到整张参数，通信量约为模型权重的两倍。NVIDIA 把重灌改写为分布式张量在两种切分布局之间的重切分，并开源参考实现 NCCL M2N Reshard；在 NeMo RL 的基准中，重灌延迟相对传统聚合广播降低 2.7 倍到 5.7 倍。
LSD 用在线自蒸馏把已解出题目的多余长度从 19.0% 压到 -3.7%，同时保持或提升 Pass@1
该工作把强化学习后训练中「已解出查询的响应被无谓拉长」定义为长度缩放税（LST），并提出长度自蒸馏（LSD）：用当前 rollout 组的正确率把已解出提示路由到在线策略蒸馏、未解出提示保留原 RLVR 目标，教师是同一策略谱系的指数滑动平均检查点、无需外部模型，在单轮推理上把 LST 从 19.0% 降到 -3.7%、在多轮智能体任务上从 31.4% 降到 13.7%，同时平均 Pass@1 与 RL 相当或更好。
强化学习后训练视觉-语言-动作模型时，参数更新集中在仅占动作专家14.83%–27.58%的Timestep Modules，且其低秩方向可预测并提升任务成功率
该工作系统分析了强化学习（RL）如何重塑基于流匹配的视觉-语言-动作（VLA）模型，发现RL在π0.5与GR00T N1.5/N1.6等模型、LIBERO/ManiSkill/MetaWorld/CALVIN等基准上诱导出高度集中于动作专家Timestep Modules的低秩参数更新，这些模块以14.83%–27.58%的参数占比承载了不成比例的RL性能增益，其shift向量更新方向能以最高99.6%的ROC-AUC预测任务成功，且沿该方向引导可在不额外RL训练的情况下进一步提升策略表现。
SoL-Refiner 用单步去噪把低分辨率生成视频精修到 4K，2K 延迟从 57.461 秒降到 6.447 秒
该工作提出 SoL-Refiner，一个单步视频精修器，通过高分辨率持续训练、基于帧级奖励模型的强化学习后训练和最终一步蒸馏三阶段配方，把低分辨率生成器输出转换为 4K 视频，并构建 Refiner-Bench 用共享输入协议在约 2K 输出分辨率下比较精修器，在 2K 下其单步模型在 VBench 与 UniPercept 平均值上优于所有被评估的外部精修器，在 3840×2176 下两项指标均超过三步 LTX-2.3 Refiner，完整加速栈在 2K 延迟设定下相对同一基线取得 8.91 倍精修延迟加速。
Nereus 让 RL 后训练在运行中自适应并行：真实数据轨迹上平均步延迟降 27.7%，8B PPO 吞吐最高达 OpenRLHF 的 7.27 倍
Nereus 是一个面向大语言模型强化学习后训练的成本感知运行时，它把每个模型-阶段副本抽象为 Elastic Model Unit，用全局转移图编排 Split、Merge、Extend、Destroy 四种原语，在运行中按“收益能否偿还转移成本”的准则在线调整 DP/TP/PP 执行计划；在真实数据构建的轨迹上，在线 TP/PP 自适应相对初始固定 TP/PP 布局把平均步延迟降低 27.7%，1,000 步扩展到 1,024 GPU 的运行中六次转移仅占总运行时间的 0.079%，8B PPO 端到端吞吐相对 OpenRLHF 提升 2.14–7.27 倍、相对 Verl 提升 1.10–1.47 倍。
QwenGyre 用弹性 GPU 调度与轨迹树处理，让 Qwen 3.8 2.4T 在 NL2RepoBench 上 48 步从 52.5% 提升到 58.5%
QwenGyre 是一个面向超长时程（xLong）智能体在线强化学习的端到端框架，它通过弹性调度器在不中断正在运行的 harness 执行的前提下于 rollout 与训练之间重新分配 GPU，并用轨迹处理器把分支执行记录重建为共享前缀的轨迹树、对超时后的部分进展打分、按角色优先级去重采样轨迹，在 Qwen 3.8 2.4T 上以每次 rollout 70 万 token 训练 48 步，使 NL2RepoBench 通过率从 52.5% 提升到 58.5%，并在多个数据集上相对 Colocate 与 Async 取得最高 1.85 倍和 1.78 倍的端到端加速。