Mahdi Nazemi

在可验证奖励强化学习常用的低学习率下，BF16混合精度训练比FP16收敛更慢，原因是FP32影子权重舍入到BF16时，小幅更新常被舍入抹掉，权重连续几步不变。把这一量化步骤从就近舍入改为随机舍入后，BF16在1.5B、14B与30B-A3B模型和两个数学数据集上的奖励轨迹与FP16一致，同时相对参考模型的KL散度低于提高学习率的BF16，并保留BF16的动态范围、无需损失缩放。

在可验证奖励强化学习常用的低学习率下，BF16混合精度训练比FP16收敛更慢，原因是FP32影子权重舍入到BF16时，小幅更新常被舍入抹掉，权重连续几步不变。把这一量化步骤从就近舍入改为随机舍入后，BF16在1.5B、14B与30B-A3B模型和两个数学数据集上的奖励轨迹与FP16一致，同时相对参考模型的KL散度低于提高学习率的BF16，并保留BF16的动态范围、无需损失缩放。