Yifei Liu

面向检索增强生成与智能体工作负载，Nebula把位置无关缓存（PIC，允许同一文本段在不同前缀下复用已算好的键值缓存）的片段提升为集群级缓存对象，使远端复用与并行预填充成为可能。此前分布式缓存系统仍只按前缀匹配，单机PIC又无法利用其他节点的缓存与算力。在四个模型和四个真实RAG与智能体负载上，Nebula相对最强基线把中位首字延迟平均降低61.4%，并平均找回前缀缓存漏掉的76.1%的token。

面向检索增强生成与智能体工作负载，Nebula把位置无关缓存（PIC，允许同一文本段在不同前缀下复用已算好的键值缓存）的片段提升为集群级缓存对象，使远端复用与并行预填充成为可能。此前分布式缓存系统仍只按前缀匹配，单机PIC又无法利用其他节点的缓存与算力。在四个模型和四个真实RAG与智能体负载上，Nebula相对最强基线把中位首字延迟平均降低61.4%，并平均找回前缀缓存漏掉的76.1%的token。