NVIDIA Research

异步强化学习让采样与训练同时进行，但训练用的是旧权重生成的样本，此前靠重要性采样纠正，却仍会漂移。NVIDIA Research 与 Inferact 的 REINFORCE Zero 先把采样引擎与训练器的内核对齐，使同一权重下逐 token 对数概率逐位一致，再用不截断的 token 级重要性采样处理剩余的权重滞后。在 16 块 GPU、12K 次更新上，其训练步吞吐为对齐内核同步训练的 2.40 倍（68.55 对 164.77 小时），质量相当；Qwen3-4B 配合 Python 工具在滞后 64 下训练 5,000 次更新，平均奖励从 0.287 升到约 0.78。

异步强化学习让采样与训练同时进行，但训练用的是旧权重生成的样本，此前靠重要性采样纠正，却仍会漂移。NVIDIA Research 与 Inferact 的 REINFORCE Zero 先把采样引擎与训练器的内核对齐，使同一权重下逐 token 对数概率逐位一致，再用不截断的 token 级重要性采样处理剩余的权重滞后。在 16 块 GPU、12K 次更新上，其训练步吞吐为对齐内核同步训练的 2.40 倍（68.55 对 164.77 小时），质量相当；Qwen3-4B 配合 Python 工具在滞后 64 下训练 5,000 次更新，平均奖励从 0.287 升到约 0.78。