跳到主要内容
返回时间线
arXiv来源发表:

GraphMemory 用图结构记忆替代上下文堆叠,在保持下游性能的同时减少约 81-85% 的记忆构建 token

相关研究与后续进展

核心概要

该工作提出上下文优化的统一表述,将智能体记忆系统更新解释为对模型上下文的优化更新过程,并据此设计轻量图结构记忆 GraphMemory:它累积、精炼、组织并连接可复用策略,每次查询只检索相关子图,在有界检索下检索到的记忆量随处理样本数增长保持恒定,实验显示其下游性能具有竞争力,同时比基线少用约 81-85% 的记忆构建 token。

Source-provided article image: Decoupling Memory from Context: Structured Memory for Token-Efficient Test-Time Continual Learning
Figure 1 ·

Figure 1: Prompt-token usage at successive training checkpoints for GraphMemory and ACE on Formula with Qwen3.8-27B.

arXiv

深度剖析

提出上下文优化的统一表述,把智能体记忆系统的更新解释为对模型上下文执行的一次优化更新过程。 此前上下文工程多被视为工程实践,记忆设计缺少统一的分析框架;该表述把记忆更新纳入优化视角,为研究记忆设计及其效率提供原则性框架。 属于概念性/理论性贡献,摘要以“attempts to provide a principled framework”表述其定位,未给出形式化定理或证明细节。

提出 GraphMemory,一种轻量图结构记忆,能够累积、精炼、组织并连接可复用策略。 针对持续向共享上下文追加信息所带来的 token 成本上升、上下文窗口限制与上下文膨胀导致的性能退化,改为以图结构组织策略而非线性堆叠。 摘要给出系统设计与机制描述,未提供图结构规模、节点类型或构建流程的量化细节。

每次查询只检索相关子图,使在线上下文适配无需把整个记忆暴露给模型;在有界检索下,检索到的记忆量随已处理样本数增长保持恒定。 把记忆容量与上下文占用解耦,使记忆可以持续增长而单次推理的检索开销不随之增长。 “Under bounded retrieval”为条件性陈述,摘要未给出具体检索预算数值或随样本数变化的实测曲线。

实验显示 GraphMemory 取得有竞争力的下游性能,同时比基线少用约 81-85% 的记忆构建 token。 在性能与记忆构建成本之间给出可量化的权衡结果,指向 token 效率而非单纯性能提升。 摘要报告约 81-85% 的 token 减少幅度,但未列出任务集合、基线构成、样本规模或性能指标的具体数值。

启示与展望

该工作面向需要在推理时持续吸收领域知识并从经验中适应的 LLM 智能体,适用于以上下文工程替代权重更新的部署方式,尤其是企业、科学与医疗等摘要点名的应用方向。其设计目标是在记忆持续累积的同时,让单次查询只接触相关子图,从而把记忆规模与上下文占用解耦;因此它最适合查询可被组织为可复用策略、且检索预算可被设定上界的场景。对希望在不重训模型的前提下获得跨交互经验积累的工程团队,这一表述与 GraphMemory 结构提供了可直接借鉴的设计起点。

本次仅基于摘要,未读取正文、图表与实验表格,因此任务集合、基线构成、样本规模、性能指标的具体数值以及“有界检索”的预算设定均无法确认。读者可留意:约 81-85% 的 token 减少是在何种记忆构建流程与何种基线对比下测得;检索子图的质量如何随记忆增长而变化;以及“competitive downstream performance”对应的具体评测范围。统一表述与优化视角之间的形式化程度,也需在正文中进一步确认。

来源