# 随机舍入

在可验证奖励强化学习常用的低学习率下，BF16混合精度训练比FP16收敛更慢，原因是FP32影子权重舍入到BF16时，小幅更新常被舍入抹掉，权重连续几步不变。把这一量化步骤从就近舍入改为随机舍入后，BF16在1.5B、14B与30B-A3B模型和两个数学数据集上的奖励轨迹与FP16一致，同时相对参考模型的KL散度低于提高学习率的BF16，并保留BF16的动态范围、无需损失缩放。

在可验证奖励强化学习常用的低学习率下，BF16混合精度训练比FP16收敛更慢，原因是FP32影子权重舍入到BF16时，小幅更新常被舍入抹掉，权重连续几步不变。把这一量化步骤从就近舍入改为随机舍入后，BF16在1.5B、14B与30B-A3B模型和两个数学数据集上的奖励轨迹与FP16一致，同时相对参考模型的KL散度低于提高学习率的BF16，并保留BF16的动态范围、无需损失缩放。

该工作将 PRISM 向量化舍入库扩展为可变精度随机舍入（VPSR），在固定数值格式、仅改变各运算位点舍入规则的条件下对 DistilGPT-2 做仿真，并用线性投影前向误差界与 softmax 交叉熵的二阶分解解释位点差异：在 6 位有效位下 MLP 用 SR 的困惑度为全精度参考的 1.15 倍而 RN 为 2.21 倍，语言模型头处顺序反转，混合配置（MLP 输出 6 位、MLP 用 SR、头用 RN）把困惑度带到 1.10 倍，较同位宽 RN 降低 28%。

该工作将 PRISM 向量化舍入库扩展为可变精度随机舍入（VPSR），在固定数值格式、仅改变各运算位点舍入规则的条件下对 DistilGPT-2 做仿真，并用线性投影前向误差界与 softmax 交叉熵的二阶分解解释位点差异：在 6 位有效位下 MLP 用 SR 的困惑度为全精度参考的 1.15 倍而 RN 为 2.21 倍，语言模型头处顺序反转，混合配置（MLP 输出 6 位、MLP 用 SR、头用 RN）把困惑度带到 1.10 倍，较同位宽 RN 降低 28%。

作者提出 Clean 与低精度变体 Q-Clean：用随机 Nyström 方法近似 SOAP 的左右预条件子，把优化器状态内存从随层维度二次增长降为线性，并把低秩核心之外的 Main、A、B、C 四个正交块重新整合进更新；在 C4 上预训练 LLaMA-350M 与 1.3B 时，Clean 困惑度接近 SOAP 而优化器内存小于 AdamW，Q-Clean 相比 Muon 减少超过 50% 优化器内存，Clean 达到 AdamW 最终性能的墙钟时间快 26%，并首次使 13B 模型可在单张 80GB H100 上预训练。

作者提出 Clean 与低精度变体 Q-Clean：用随机 Nyström 方法近似 SOAP 的左右预条件子，把优化器状态内存从随层维度二次增长降为线性，并把低秩核心之外的 Main、A、B、C 四个正交块重新整合进更新；在 C4 上预训练 LLaMA-350M 与 1.3B 时，Clean 困惑度接近 SOAP 而优化器内存小于 AdamW，Q-Clean 相比 Muon 减少超过 50% 优化器内存，Clean 达到 AdamW 最终性能的墙钟时间快 26%，并首次使 13B 模型可在单张 80GB H100 上预训练。