低精度 Transformer 推理中随机舍入与就近舍入的站点级权衡:MLP 用 SR、注意力头用 RN 可将困惑度压至全精度参考的 1.10 倍
该工作将 PRISM 向量化舍入库扩展为可变精度随机舍入(VPSR),在固定数值格式、仅改变各运算位点舍入规则的条件下对 DistilGPT-2 做仿真,并用线性投影前向误差界与 softmax 交叉熵的二阶分解解释位点差异:在 6 位有效位下 MLP 用 SR 的困惑度为全精度参考的 1.15 倍而 RN 为 2.21 倍,语言模型头处顺序反转,混合配置(MLP 输出 6 位、MLP 用 SR、头用 RN)把困惑度带到 1.10 倍,较同位宽 RN 降低 28%。