采样器不再跟训练器同款：混合精度混合加速器跑通异步RL，成本还低约15%
核心概要
大模型强化学习里，采样器过去通常与训练器用同一代加速器和同一精度，以保持数值接近。现在，小米MiMo团队在Qwen3.6-35B-A3B的智能体编程任务上，让采样器分散在B200、B300、H100、H200、A100和RTX PRO 6000六种加速器上，各自使用NVFP4、FP8或BF16权重与自己的算子，训练器仍在B200上用BF16更新。靠离策略校正与自动伸缩的无服务器GPU，混合采样器在SWE-bench Pro V2上与同构采样器成绩相当，训练大部分时间每次更新的采样成本约低15%。
深度剖析
采样器可以不再与训练器绑定在同一代加速器和同一精度上，训练依然稳定，成绩不降。 此前大模型强化学习通常让采样器与训练器保持数值接近，采样已占大模型RL运行中80–85%的GPU。 在SWE-bench Pro V2上，混合采样器与同构采样器的pass@4全程接近；混合采样器的采样器—训练器KL平均是同构的4.7倍，训练仍稳定。
稳定来自离策略校正，而不是把两侧数值对齐。 不做校正时，混合采样器上GRPO训练开始不久就崩溃，同构采样器上训练持续更久但最终也崩溃。 只有SC+MIS（加或不加top-p）能稳定训到结束：HARD-51上pass@4在前约100–140步上升，随后稳定在约65–75%；全集从89%升到约94%。
校正由三部分组成：掩码重要性采样、分数中心化和top-p掩码回放。 单独使用任一部分只能推迟崩溃，且每次这样的运行最终都不高于基座模型。 掩码重要性采样按重要性比率给每个token加权并屏蔽比率落在固定区间外的token；分数中心化减去采样策略下对数概率的期望梯度以消除漂移；top-p让采样器只从候选集采样、训练器在同一集合上重新归一化。
采样器与训练器解耦后，达到同样成绩的成本更低。 同构采样器与训练器共用加速器和精度，只有算子和陈旧度造成差异。 训练大部分时间里，混合采样器每次更新的采样成本比同构采样器低约15%；该设置是为验证性能而非最低成本，因此还有进一步节省空间。
启示与展望
演示范围是Qwen3.6-35B-A3B在智能体编程任务上的全异步训练，上下文最长256K token，平均陈旧度约4，评估在SWE-bench Pro V2及其HARD-51子集上进行，每个检查点用BF16评估。适用读者是搭建大规模RL训练与推理系统、需要让采样与训练分离的工程师和研究者。作者提出的下一步方向包括：采样集群可与训练器分开扩缩并在运行中增长，投机解码、更低精度、预填充与解码分置等推理优化可直接进入RL，训练器也可迁到自己的低精度格式。
校正按token进行，前缀与优势仍来自采样器，序列级校正和限制陈旧度未使用；top-p掩码回放使更新优化的是截断到候选集的策略，候选集之外的logits在该位置没有梯度，而评估从全词表采样；校正不改变采样器产生哪些轨迹，因此选择精度或加速器仍是在吞吐与样本效率之间取舍。作者表示更好的校正方法很可能出现。