编码智能体压缩上下文不必改写历史:ObsDrop只释放过期KV,16个并发智能体下吞吐最高5.37倍
编码智能体每轮只往历史末尾追加内容,不压缩时前缀缓存复用率可达98%至99%,但文本级上下文压缩一旦改写早先的token,后面的KV就要全部重算。ObsDrop把压缩从提示词移到KV缓存:逻辑token前缀保持不变,只释放过期工具观测占用的KV并从注意力中排除,已在SGLang与Sparse-vLLM中实现。在16个并发智能体下,相对不压缩,FlashInfer后端吞吐提升2.45至2.85倍,Triton后端峰值5.37倍,任务质量接近不压缩。