跳到主要内容
返回时间线
headroomlabs-ai/headroom来源发表:

Headroom 在本地压缩智能体输入:四类场景少用 21–57% 输入 token,重复 JSON 与日志行可省九成以上

核心概要

Headroom 把 AI 智能体读到的工具输出、日志、RAG 片段、文件和对话历史在送入大模型前压缩,目标是答案不变而输入 token 更少。它在四类智能体场景上测得输入 token 减少 21–57%,对重复 JSON 数组和日志行可省九成以上,对普通散文则效果很小。压缩在本机进程内完成,原始内容缓存在本地,模型需要时可取回全文。

AI-generated editorial illustration: headroomlabs-ai / headroom

深度剖析

Headroom 在提示词到达大模型之前压缩智能体读取的内容,覆盖工具输出、日志、RAG 片段、文件和对话历史,宣称答案不变而输入 token 更少。 此前的做法是把这些内容原样送入模型,输入 token 随工具输出和日志增长。 在四类智能体场景上测得输入 token 减少 21–57%,对重复 JSON 数组和日志行减少九成以上,对普通散文效果很小。

压缩按内容类型分流:JSON、源代码和散文分别交给不同的压缩器处理。 内容路由器先判断内容类型,再选择对应压缩器,而不是对所有文本用同一种压缩。 SmartCrusher 处理 JSON,CodeCompressor 基于抽象语法树处理源代码,Kompress-v2-base 处理文本;压缩在本机运行,不向外部发送提示词或文件内容。

原始内容保存在本地缓存中,模型需要时可调用检索工具取回全文。 压缩并非单向丢弃,可逆缓存让模型在需要完整文本时取回原文。 CCR 在本地保存原文,模型可调用 headroom_retrieve 取回;设置 HEADROOM_OFFLINE=1 可做零网络运行。

启示与展望

已展示的范围是四类智能体场景的输入 token 测量,以及重复 JSON 数组和日志行上的高压缩率;压缩在本机进程内运行,可设置零网络模式。

对普通散文的压缩效果很小;21–57% 是四类场景的区间,并非单一场景的固定值;答案不变的说法来自项目自身的测量说明。