# 矩阵打包

全同态加密能让云端在密文上直接做Transformer推理，但旋转和格式转换的开销一直拖慢速度。MOAI把列打包与对角打包串成一条贯穿各层的固定流程，并用免旋转算法计算Softmax和LayerNorm，在BERT-base的全部矩阵乘法中只需9648次同态旋转。在单块A100 GPU上，它的端到端评估时间比THOR减少52.8%，摊薄到每条输入2.36分钟。

全同态加密能让云端在密文上直接做Transformer推理，但旋转和格式转换的开销一直拖慢速度。MOAI把列打包与对角打包串成一条贯穿各层的固定流程，并用免旋转算法计算Softmax和LayerNorm，在BERT-base的全部矩阵乘法中只需9648次同态旋转。在单块A100 GPU上，它的端到端评估时间比THOR减少52.8%，摊薄到每条输入2.36分钟。