推理语言模型的强化学习训练每步要串起生成、评估、训练多个大模型，现有系统通常只优化其中一部分。RPEG把流水线结构（有界异步、actor–critic共享）与执行方案（阶段融合、细粒度调度、多维并行）放进同一张图里联合搜索，并配一个经硬件校准的解析性能模型。在最多256块GH200上，其运行时相对ReaL端到端最高提速2倍，相对verl每步延迟最高降低2.48倍，硬件利用率最高提升30%。
异步强化学习让采样与训练同时进行，但训练用的是旧权重生成的样本，此前靠重要性采样纠正，却仍会漂移。NVIDIA Research 与 Inferact 的 REINFORCE Zero 先把采样引擎与训练器的内核对齐，使同一权重下逐 token 对数概率逐位一致，再用不截断的 token 级重要性采样处理剩余的权重滞后。在 16 块 GPU、12K 次更新上，其训练步吞吐为对齐内核同步训练的 2.40 倍（68.55 对 164.77 小时），质量相当；Qwen3-4B 配合 Python 工具在滞后 64 下训练 5,000 次更新，平均奖励从 0.287 升到约 0.78。
基础模型通常按预训练、中训练、监督微调和强化学习分阶段训练，每阶段换数据也换算法。统一训练把这几步都写成对目标分布的最大似然拟合，让静态语料与强化学习生成样本在同一个训练器里按比例混合，分阶段训练成为其中一个特例。在受控推理任务和真实中训练数据实验中，统一训练改善了准确率与算力的权衡和任务覆盖，并保留了更广的能力。
大模型强化学习里，采样器过去通常与训练器用同一代加速器和同一精度，以保持数值接近。现在，小米MiMo团队在Qwen3.6-35B-A3B的智能体编程任务上，让采样器分散在B200、B300、H100、H200、A100和RTX PRO 6000六种加速器上，各自使用NVFP4、FP8或BF16权重与自己的算子，训练器仍在B200上用BF16更新。靠离策略校正与自动伸缩的无服务器GPU，混合采样器在SWE-bench Pro V2上与同构采样器成绩相当，训练大部分时间每次更新的采样成本约低15%。
MintAct 提出 2B、4B、8B 三档视觉语言模型家族，用共享的截图观测与像素坐标空间、按域提示词切换的动作集、以及跨域均衡混合，把 UI 定位、移动端/桌面/网页多步导航和视觉工具调用统一到同一套权重中，并配套可承载数百并发实例的异步强化学习基础设施，在 OSWorld-Verified 上达到 48.9、Online-Mind2Web 上 39.1、AndroidWorld 上 67.0，与同规模单域专家模型相当或更优。
已读完全部报道