加密数据上跑BERT-base不再需要格式转换：MOAI把单条输入摊到2.36分钟，比THOR少52.8%
全同态加密能让云端在密文上直接做Transformer推理，但旋转和格式转换的开销一直拖慢速度。MOAI把列打包与对角打包串成一条贯穿各层的固定流程，并用免旋转算法计算Softmax和LayerNorm，在BERT-base的全部矩阵乘法中只需9648次同态旋转。在单块A100 GPU上，它的端到端评估时间比THOR减少52.8%，摊薄到每条输入2.36分钟。
Perseus把同态加密推理栈收进一个公开Python库：Llama-3-8B解码延迟低于已知最快实现Sylph
同态加密能在密文上直接算模型，但自举（bootstrapping，刷新密文可用乘法深度的昂贵操作）带来的延迟让加密大模型难以实用，而现有优化分散在不同、有时闭源的框架里，集成困难且耗时。Perseus是一个公开的Python库，覆盖密码后端、数据打包和自举放置三层，在GPU上实现内核内密钥再生、复数Cachemir打包，以及按系数幅值和打包周期性规划自举。在Llama-3-8B解码上，其延迟低于已知最快实现Sylph，后者运行在相近硬件但基于闭源的HEaaN。
已读完全部报道