原生NVFP4强化学习后期会失稳：miniTE把完整学习器更新提速约1.33–1.37倍
核心概要
原生NVFP4强化学习早期奖励正常，训练后期却出现熵异常、训练与采样对数概率差扩大和奖励下滑。miniTE把量化策略、线性层与计算后端分层，配合按token缩放、连续布局与amax复用等实现优化；在8×B300上，两条miniTE路径配BF16反向传播时，完整学习器更新相对BF16取得约1.33–1.37倍配对加速，固定输出服务测试另有约1.64倍吞吐。这些学习与系统结果来自不同配置，尚不构成端到端强化学习加速。
深度剖析
原生NVFP4强化学习在训练后期会失稳，miniTE从数值执行一侧入手，减少可避免的执行差异并压低低精度计算开销。 早期NVFP4运行中奖励先正常上升，随后出现熵异常、训练与采样对数概率差扩大和奖励下降；换掉单个量化算子、或确认两侧都用NVFP4，都没有解决全部问题。 在DAPO数学任务上用GRPO训练Qwen3-4B与Qwen3-30B-A3B，4B模型约300步后失稳，30B模型的失配约700步后快速增大；早期配置下稠密模型NVFP4/NVFP4的平均绝对对数概率差为0.1142，BF16/BF16为0.0110。
miniTE把量化策略、线性层和计算后端分开，让开发者能在既有训练流程里替换一条计算路径，再分别检查数值正确性、学习行为和运行开销。 此前改动缩放粒度或GEMM后端往往要连带修改层封装、分组布局、通信和自动微分，每次实验都得重走周边逻辑。 miniTE per-token的稠密量化与分组GEMM通过28/28项逐位等价检查，融合布局在7个合成与真实激活用例中没有引入差异；在8×B300上，miniTE CUTLASS配BF16反向传播达到33,140 tokens/s、配对加速1.369倍，miniTE per-token配BF16反向传播达到32,517 tokens/s、配对加速1.334倍，而TE NVFP4为23,294 tokens/s、0.959倍。
启示与展望
演示范围是单节点8×B300上的Qwen3-30B-A3B学习器更新（序列长度4096、微批1、GBS 128），以及独立的固定输出八引擎服务测试和一次在线RL分阶段计时；模块、学习器、服务与在线RL各有不同的计时口径。
严格对齐配置下训练与推理对数概率差约为10⁻⁸，但该实验同时改动了多个实现选择且为单次运行；补充长跑中miniTE的五任务均值为56.35%，仍比BF16低2.49个百分点，且IFEval上低于原生NVFP4。在线RL运行里权重转换与同步分别约为BF16的5.56倍和5.12倍，抵消了采样收益；两条路径合并能否带来额外增益尚待测试。