# Mooncake存储

vLLM 项目的 Speculators 训练库新增对 2.8 万亿参数 Kimi K3 的支持，训练出五层、50 亿参数的 DSpark 草稿模型，用并行块加顺序校正做投机解码。在数学推理负载上，单流交互速度从约 110 提升到约 435 tok/s/user，并发下同等交互水平时输出吞吐最高约 3.5 倍；九个评测域的宏平均接受长度为每轮验证 4.11 个 token。

vLLM 项目的 Speculators 训练库新增对 2.8 万亿参数 Kimi K3 的支持，训练出五层、50 亿参数的 DSpark 草稿模型，用并行块加顺序校正做投机解码。在数学推理负载上，单流交互速度从约 110 提升到约 435 tok/s/user，并发下同等交互水平时输出吞吐最高约 3.5 倍；九个评测域的宏平均接受长度为每轮验证 4.11 个 token。

编码智能体会把同一段长对话反复送回服务器，历史能否留在显存之外决定了每轮要重算多少 token。AMD 的开源推理引擎 ATOM 把预填充与解码分置在不同 GPU 上，并接入 Mooncake Store，把两侧主机内存合成一个 KV 池，供预填充保存和恢复会话历史。在四台 AMD Instinct MI350X 服务器上，共享池在 96 与 112 并发会话时吞吐约为各服务器独立分池的两倍，KV 复用率保持 94–96%。

编码智能体会把同一段长对话反复送回服务器，历史能否留在显存之外决定了每轮要重算多少 token。AMD 的开源推理引擎 ATOM 把预填充与解码分置在不同 GPU 上，并接入 Mooncake Store，把两侧主机内存合成一个 KV 池，供预填充保存和恢复会话历史。在四台 AMD Instinct MI350X 服务器上，共享池在 96 与 112 并发会话时吞吐约为各服务器独立分池的两倍，KV 复用率保持 94–96%。