异步RL训练把上下文挤进更少解码步，INT4 KV缓存提速却掉点，选择性INT8保护补回精度

异步调度在消除长尾空闲的同时，把同样多的上下文处理压进更少的解码步，于是每一步要处理的KV量变大，rollout的瓶颈从权重读取转向KV缓存。 此前的低精度rollout主要量化权重或激活，KV缓存多停留在FP8或BF16；在持续并发下权重读取被摊薄，而注意力仍要处理每条响应的上下文。 在匹配工作负载的回放中，KV4在早、中、晚三个检查点分别取得约3.6倍、3.4倍、3.1倍解码加速，KV8约2.1倍，而W4A16与W8A8接近或低于BF16速度。

直接使用INT4 KV缓存会损害学习，即使已经启用token级截断重要性采样，因此需要在不放弃INT4容量与执行收益的前提下恢复采样器保真度。 8位KV rollout与BF16轨迹接近，而4位KV rollout在后期跟不上BF16的改进，MATH-500 avg@8低5.24个百分点。 在相同异步GRPO与TIS配方下比较BF16、KV8、KV4三条Qwen3-8B-Base训练轨迹，并在相同BF16前缀上测量共享前缀条件KL，KV4-RL把该失配相对KV4降低约60%。

KV4-RL把全部上下文以INT4分页存储，只对固定数量的注意力汇点位置和最近位置保留INT8副本，并用整数注意力路径与区域softmax合并执行。 对整份缓存统一提高精度会随上下文长度增加开销，而保护集合最多144个位置，其额外存储与注意力开销不随上下文长度增长。 在Qwen3-4B-Base与Qwen3-8B-Base上做全参数GRPO训练，4B跑600次更新、8B跑400次更新，每次迭代收集128组、每组8条响应，响应上限16384 token。

端到端训练中，KV4-RL在保持生成工作量接近BF16的同时加快rollout与整轮迭代，且响应越长收益越大。 8B上400次更新的累计rollout加速约2.3倍、整轮加速约1.6倍；4B上600次更新分别约1.7倍与1.3倍，而BF16与KV4-RL的全程平均响应长度分别为1.45k与1.46k token。 在统一BF16评测器下，KV4-RL六项基准平均准确率在两个模型规模上都与BF16 rollout相差不超过0.5个百分点，而KV4在8B上低4.6个百分点、在4B上低0.8个百分点。

结论建立在两个稠密Qwen3模型、数学推理数据与同机异步GRPO配置上，覆盖的是长生成、高并发这一KV集中最明显的区间。评测用统一BF16权重与KV缓存，因此报告的是学到的策略质量，而非量化推理时的输出质量。固定工作负载回放只测同一解码状态下的执行加速，端到端计时则同时包含执行收益与缓存变小后允许的更高并发，两者未单独拆分。

KV4-RL的收益在响应更长时更明显，4B上响应较短，加速幅度相应更小。8B后期检查点上异步解码吞吐已回落到与同步相当，说明固定页预算会限制调度收益。KV4在8B上的更大差距出现在长上下文区间，但该比较没有分离响应长度与模型规模的影响。保护宽度增大可继续降低失配，代价是解码加速逐步下降，默认配置是这一权衡下的折中。