工具输出不必再转成文字：Coca-Cola 把检索结果压成隐向量，网页搜索智能体省下七成以上 token
核心概要
网页搜索智能体每调用一次工具，返回的长文本都会原样追加进上下文，多步之后上下文迅速膨胀并稀释注意力。Coca-Cola 改把这些观察压成少量连续隐向量，直接嵌入智能体的输入嵌入空间，并用动作保持训练让压缩前后下一步动作分布对齐。在四个问答基准和两组模型上，总 token 消耗降低 70.01%–89.24%，端到端运行时间降低 24.45%–55.97%，EM 与 F1 在各设置下均高于未压缩智能体。
深度剖析
工具返回的检索结果不再以文字 token 的形式进入智能体上下文，而是被压成少量连续隐向量后直接插入输入嵌入序列。 此前的 token 剪枝和文本摘要都把压缩结果保留为离散文字序列，为了语义连贯，可达到的压缩比因此受限。 在 Qwen 模型与 NQ 基准上，平均输入 token 从 14,362.12 降到 1,766.53，降幅 87.70%；在 GLM 模型与 2Wiki 上从 31,693.47 降到 3,003.38，降幅 90.52%。
压缩器由一个上下文感知编码器和一个隐适配器组成，编码器同时读入任务指令、当前步推理轨迹和工具观察，适配器把编码结果映射成固定数量的隐 token 并对齐目标智能体的嵌入维度。 隐 token 与目标智能体处在不同的表示空间，不能直接使用，因此需要一个连续接口把两者接起来。 推理时每次工具观察被压成 128 个连续隐 token，以特殊边界标记隔开插入智能体输入；训练只更新编码器的 LoRA 参数和适配器参数，目标智能体保持冻结。
动作保持训练让压缩器学到的隐 token 保留决策所需信息，而不是重建原始观察文本。 与共享同一架构、改用文本重建目标的 ICAE 相比，Coca-Cola 在全部八个模型–数据集设置上压缩率更高。 在 GLM 模型与 2Wiki 上压缩率为 89.24%，ICAE 为 74.12%；在 Qwen 模型与 HotpotQA 上 F1 为 33.75%，ICAE 为 31.21%。
启示与展望
演示范围限于网页搜索智能体在 NQ、TriviaQA、2Wiki 和 HotpotQA 四个开放域问答基准上的多步问答，使用 Qwen3.5-35B-A3B 配 Qwen3.5-4B、GLM-4.7-Flash 配 GLM-Z1-9B 两组模型，每次工具调用最多取 5 条检索结果、每个任务最多 5 次工具调用。
隐 token 的信息容量分析建立在有限精度码本、各坐标组合可实现等假设之上，实际可用信息仍取决于压缩器的编码能力和智能体使用这些表示的能力。隐 token 数量的消融显示 F1 随数量增加而上升，默认取 128 是效率与性能之间的折中；去掉推理状态或任务目标会降低 EM，说明决策关键信息无法仅从观察本身确定。