采样器不再跟训练器同款:混合精度混合加速器跑通异步RL,成本还低约15%
大模型强化学习里,采样器过去通常与训练器用同一代加速器和同一精度,以保持数值接近。现在,小米MiMo团队在Qwen3.6-35B-A3B的智能体编程任务上,让采样器分散在B200、B300、H100、H200、A100和RTX PRO 6000六种加速器上,各自使用NVFP4、FP8或BF16权重与自己的算子,训练器仍在B200上用BF16更新。靠离策略校正与自动伸缩的无服务器GPU,混合采样器在SWE-bench Pro V2上与同构采样器成绩相当,训练大部分时间每次更新的采样成本约低15%。