跳到主要内容
检索

# FP8量化

1 篇关联报道

订阅更新
  1. arXiv

    ByteDance Seed与威斯康星大学把FP8强化学习全流程跑通:定位到熵激增的过裁剪成因,用Calibrated Clipping在8B到32B上追平BF16并取得最高1.5倍训练吞吐

    该工作研究大语言模型全流程FP8强化学习的训练稳定性,指出复合FP8量化噪声会扭曲重要性比值、使负优势token被过度下裁剪而梯度被错误置零,并提出Calibrated Clipping通过匹配BF16参考的下裁剪分位数并重新平衡上界来动态校准裁剪边界,在GRPO与DAPO、8B至32B模型和多种FP8缩放粒度上消除熵激增、恢复接近BF16的性能,同时训练吞吐最高可达BF16的1.5倍。

已读完全部报道