galahad-kv 在单张 H100 上实现 5000 万 token 记忆窗口:100/100 零重算恢复,比重算快 2.8–4.3 倍、省能 8.8–12.3 倍
作者发布公开软件包 galahad-kv,把模型为每 16,000 token 块计算的 KV 状态加密写入本地 NVMe,之后按字节精确恢复而无需重算;在 5000 万 token 真实语料、单张 H100、vLLM 服务下,Gemma 4 12B 与 31B 的 100 个探测块全部零重算恢复,恢复比重算快 2.8–4.3 倍、GPU 能耗低 8.8–12.3 倍,显存全程持平,模型对植入事实的召回分别为 82/100 与 98/100 且零编造。