编码智能体会把同一段长对话反复送回服务器，历史能否留在显存之外决定了每轮要重算多少 token。AMD 的开源推理引擎 ATOM 把预填充与解码分置在不同 GPU 上，并接入 Mooncake Store，把两侧主机内存合成一个 KV 池，供预填充保存和恢复会话历史。在四台 AMD Instinct MI350X 服务器上，共享池在 96 与 112 并发会话时吞吐约为各服务器独立分池的两倍，KV 复用率保持 94–96%。
SGLang 为分页 KV 缓存加入 NVFP4 存储，把每个 token 的键值数据从 FP8 再压到约 56% 的字节量。在 Qwen3.8-27B 上，32K、160K、1M 三种输入长度下保持相同解码并发，峰值批解码吞吐提升约 26% 到 30%；智能体负载并发超过 12 后，FP8 吞吐骤降而 NVFP4 继续上升。精度上两个模型的差距随任务不同，最大为 SWE-bench Verified 上的 1.60 个百分点。
在公开的AgentX智能体负载上，八卡AMD Instinct MI355X系统用vLLM服务Kimi K3，在每用户每秒50 token的P90交互性下，单卡总吞吐约7,567 token/s，比NVIDIA HGX B300的6,083高出24.4%；按SemiAnalysis建模的每小时1.50美元与2.26美元GPU成本，每美元TCO产出1,816万对969万token，多87.4%。这一结果来自AMD与vLLM社区在注意力、循环状态、MoE和缓存上的持续工程优化，而非单点改动。
已读完全部报道