跳到主要内容
检索

Sietse Schelpe

2 篇关联报道

订阅更新
  1. arXiv

    galahad-kv 在单张 H100 上实现 5000 万 token 记忆窗口:100/100 零重算恢复,比重算快 2.8–4.3 倍、省能 8.8–12.3 倍

    作者发布公开软件包 galahad-kv,把模型为每 16,000 token 块计算的 KV 状态加密写入本地 NVMe,之后按字节精确恢复而无需重算;在 5000 万 token 真实语料、单张 H100、vLLM 服务下,Gemma 4 12B 与 31B 的 100 个探测块全部零重算恢复,恢复比重算快 2.8–4.3 倍、GPU 能耗低 8.8–12.3 倍,显存全程持平,模型对植入事实的召回分别为 82/100 与 98/100 且零编造。

  2. arXiv

    Galahad 用字节级精确 KV 记忆把 LLM 读文档变成一次性成本:97,000 token 语料上 100 题全对、每题 0.59–0.64 秒

    Corbenic AI 的 Sietse Schelpe 提出 Galahad 记忆层(Taliesin 保存并复用字节精确的 KV 状态、Blaise 只把问题所需的那一节文本交给模型),在 100 条事实藏于 97,000 token 语料的召回测试(Gemma 4 31B)中,单用 Taliesin 在 llama.cpp 上答对 98/100、每题 3.0 秒与 572 焦,无 Galahad 的基线仅答对 10/100、9.3 秒与 2,754 焦,加上 Blaise 后三个运行时均答对 100/100、每题 0.59–0.64 秒与 200–213 焦,而调优后的 RAGFlow 管线答对 77。

已读完全部报道