# 加密大语言模型推理

同态加密能在密文上直接算模型，但自举（bootstrapping，刷新密文可用乘法深度的昂贵操作）带来的延迟让加密大模型难以实用，而现有优化分散在不同、有时闭源的框架里，集成困难且耗时。Perseus是一个公开的Python库，覆盖密码后端、数据打包和自举放置三层，在GPU上实现内核内密钥再生、复数Cachemir打包，以及按系数幅值和打包周期性规划自举。在Llama-3-8B解码上，其延迟低于已知最快实现Sylph，后者运行在相近硬件但基于闭源的HEaaN。

同态加密能在密文上直接算模型，但自举（bootstrapping，刷新密文可用乘法深度的昂贵操作）带来的延迟让加密大模型难以实用，而现有优化分散在不同、有时闭源的框架里，集成困难且耗时。Perseus是一个公开的Python库，覆盖密码后端、数据打包和自举放置三层，在GPU上实现内核内密钥再生、复数Cachemir打包，以及按系数幅值和打包周期性规划自举。在Llama-3-8B解码上，其延迟低于已知最快实现Sylph，后者运行在相近硬件但基于闭源的HEaaN。