XM-Sparse把稀疏注意力的KV缓存搬出HBM：16K上下文同批下每token时间降49.25%
Netpreme把X-Mem™内存层接入SGLang HiSparse，让解码GPU从高带宽外部内存取回未命中的KV条目，而不是走PCIe访问主机DRAM。在16K上下文、每GPU批192、20% top-k未命中率下，平均每输出token时间从167.48 ms降到84.99 ms，降幅49.25%；40%未命中率下降幅为63.58%。在20%未命中率下，16K至1M上下文的峰值解码吞吐是主机DRAM的2.09–3.04倍。