# 上下文压缩

长时运行的LLM智能体在上下文压缩时，会写一份交接摘要供下一个实例继续任务，而摘要里可能写出记录并不支持的权限或要求。研究用带真实权限账本的合成工具任务和同快照重放来测量这类句子：两个开放权重模型在留出实例上，经两名AI读者确认的无据限制占可读摘要的1.2%和2.4%，无据授权占0.1%和1.3%。把系统提示中“有些操作需要审批”换成说明审批要求来源的句子后，开发集摘要中的无据限制从5.0%降到1.8%，留出模板上从1.8%降到0.3%，而对账本确实要求审批的操作，请求量基本不变。

长时运行的LLM智能体在上下文压缩时，会写一份交接摘要供下一个实例继续任务，而摘要里可能写出记录并不支持的权限或要求。研究用带真实权限账本的合成工具任务和同快照重放来测量这类句子：两个开放权重模型在留出实例上，经两名AI读者确认的无据限制占可读摘要的1.2%和2.4%，无据授权占0.1%和1.3%。把系统提示中“有些操作需要审批”换成说明审批要求来源的句子后，开发集摘要中的无据限制从5.0%降到1.8%，留出模板上从1.8%降到0.3%，而对账本确实要求审批的操作，请求量基本不变。

长程语言模型智能体的交互历史越积越长，上下文压缩因此成为必需，而已有的学习式压缩方法往往依赖下游任务结果或求解器行为。SumOne 是一个独立的20亿参数摘要器，用掩码重建构造与任务无关的奖励，再以 GRPO 优化，训练只使用原始轨迹，不需要参考摘要或下游任务执行。在 DeepSearchQA 上，它把累计智能体输入从 2.83M 降到 591K token，F1 为 0.48，而全上下文为 0.52；在 SWE-bench Verified 上，解决率为 0.59，全上下文为 0.63，累计输入从 4.10M 降到 1.09M token。

长程语言模型智能体的交互历史越积越长，上下文压缩因此成为必需，而已有的学习式压缩方法往往依赖下游任务结果或求解器行为。SumOne 是一个独立的20亿参数摘要器，用掩码重建构造与任务无关的奖励，再以 GRPO 优化，训练只使用原始轨迹，不需要参考摘要或下游任务执行。在 DeepSearchQA 上，它把累计智能体输入从 2.83M 降到 591K token，F1 为 0.48，而全上下文为 0.52；在 SWE-bench Verified 上，解决率为 0.59，全上下文为 0.63，累计输入从 4.10M 降到 1.09M token。

编码智能体每轮只往历史末尾追加内容，不压缩时前缀缓存复用率可达98%至99%，但文本级上下文压缩一旦改写早先的token，后面的KV就要全部重算。ObsDrop把压缩从提示词移到KV缓存：逻辑token前缀保持不变，只释放过期工具观测占用的KV并从注意力中排除，已在SGLang与Sparse-vLLM中实现。在16个并发智能体下，相对不压缩，FlashInfer后端吞吐提升2.45至2.85倍，Triton后端峰值5.37倍，任务质量接近不压缩。

编码智能体每轮只往历史末尾追加内容，不压缩时前缀缓存复用率可达98%至99%，但文本级上下文压缩一旦改写早先的token，后面的KV就要全部重算。ObsDrop把压缩从提示词移到KV缓存：逻辑token前缀保持不变，只释放过期工具观测占用的KV并从注意力中排除，已在SGLang与Sparse-vLLM中实现。在16个并发智能体下，相对不压缩，FlashInfer后端吞吐提升2.45至2.85倍，Triton后端峰值5.37倍，任务质量接近不压缩。

Remory 训练一个神经记忆网络，在生成的摘要之后追加一段有界的软记忆令牌，帮助冻结的 LLM 逼近使用完整历史时的续写；在 SummHay 上以约 5.2% 的输入位置把引用 F1 提升 4.04 分、联合得分提升 3.55，并在 Qwen3.8-27B 与 GLM-5.3-Flash 的长程智能体基准上取得一致增益，同时减少重复工具输出与工具错误。

Remory 训练一个神经记忆网络，在生成的摘要之后追加一段有界的软记忆令牌，帮助冻结的 LLM 逼近使用完整历史时的续写；在 SummHay 上以约 5.2% 的输入位置把引用 F1 提升 4.04 分、联合得分提升 3.55，并在 Qwen3.8-27B 与 GLM-5.3-Flash 的长程智能体基准上取得一致增益，同时减少重复工具输出与工具错误。