异步强化学习不再被内核误差拖住：REINFORCE Zero 在策略滞后 64 时仍能学习，吞吐达同步训练的 2.40 倍
核心概要
异步强化学习让采样与训练同时进行，但训练用的是旧权重生成的样本，此前靠重要性采样纠正，却仍会漂移。NVIDIA Research 与 Inferact 的 REINFORCE Zero 先把采样引擎与训练器的内核对齐，使同一权重下逐 token 对数概率逐位一致，再用不截断的 token 级重要性采样处理剩余的权重滞后。在 16 块 GPU、12K 次更新上，其训练步吞吐为对齐内核同步训练的 2.40 倍（68.55 对 164.77 小时），质量相当；Qwen3-4B 配合 Python 工具在滞后 64 下训练 5,000 次更新，平均奖励从 0.287 升到约 0.78。
深度剖析
异步强化学习可以不再依赖样本拒绝门控，而是靠内核对齐加不截断的重要性采样稳定训练。 此前异步训练中采样与学习器之间存在两部分差距：权重滞后随更新平滑变化，而内核失配——同一权重下采样引擎与训练器算出不同数值——会随批次组成和数值执行波动，即使使用重要性采样也持续存在。 在 DeepSeek-R1-Distill-Qwen-1.5B 上，对齐内核后重要性权重偏差指标 D3 的峰值仅为中位数的 1.50 倍，标准内核下则为 442.54 倍；标准内核的异步重要性采样在首尾各 1,000 次更新间使采样到学习器的 KL 上升 83.33 倍，在线 AIME24 pass@1 从 34.27% 降到 13.96%，而对齐内核时保持平稳。
做法分三步：先让采样与训练对同一权重、同一 token 算出逐位相同的对数概率，再用记录下的采样概率做不截断的 token 级重加权，最后优化不带价值模型的普通 REINFORCE。 重要性采样按学习器概率除以采样时记录的概率给每个 token 加权，截断一般会引入偏差，因此这里保留原始比值、不做过滤。 在 6,000 次更新的 1.5B 推理任务上，滞后 2 与滞后 8 的 REINFORCE Zero 宏平均 pass@1 分别为 48.80% 和 48.53%，同步训练为 48.91%，而标准内核的异步重要性采样为 45.32%、加序列门控为 46.79%、加 token 门控为 44.59%。
对齐内核本身有代价，但换来的是长程稳定与高滞后下的持续学习。 对齐内核比最快的标准内核慢：在 OSWorld 上 REINFORCE Zero 平均每步 944.25 秒，标准内核加序列门控的重要性采样为 884.17 秒，多 6.8%。 Qwen3-4B 配合 Python 工具、16K 上下文在策略滞后 64 下训练 5,000 次更新，平均奖励从最初 100 次更新的 0.287 升到约 0.78，AIME24/25/26 pass@1 同步提升；Qwen3-30B-A3B 在 3,000 次更新中宏平均 pass@1 从 31.29% 升到 71.55%。
启示与展望
已展示的范围包括 1.5B 推理模型上 20,000 次更新的稳定训练、Qwen3-4B 配合 Python 工具在滞后 64 下 5,000 次更新、Qwen3-30B-A3B 的带工具训练，以及 OSWorld 计算机使用任务；DeepSeek-V4.1-Flash 与 Kimi K3.1 目前只做了对齐验证，长程异步运行尚未进行。
Kimi K3.1 的性能优化仍在进行，其在 AMD MI355X 上相对快速基线的开销仍在测量；DeepSeek-V4.1-Flash 与 Kimi K3.1 的长程异步训练被列为下一步，尚未给出结果。