跳到主要内容
检索

Sihwan Park

1 篇关联报道

订阅更新
  1. arXiv

    异步RL训练把上下文挤进更少解码步,INT4 KV缓存提速却掉点,选择性INT8保护补回精度

    异步RLVR训练在维持高并发时把上下文处理压缩进更少的解码步,使KV缓存而非权重成为主要开销。KV4-RL用免校准INT4存储全部上下文,只对注意力汇点和最近上下文做有界INT8保护,在Qwen3-4B-Base与Qwen3-8B-Base的全参数GRPO训练中,六项基准平均准确率与BF16 rollout相差不超过0.5个百分点,同时显著加快rollout与整轮迭代。

已读完全部报道