智能体记忆不再堆原文:把观察蒸馏成带证据的断言,LongMemEval 前十里证据命中 99.8%
核心概要
VarOps 为跨组织工作的 AI 智能体构建了一套记忆系统,把每条观察蒸馏成带陈述者、有效期和原文证据跨度的断言,而不是保留原始对话片段。在 500 题长对话公开基准 LongMemEval 上,这种有损蒸馏仍让正确证据进入前十结果的比例达到 99.8%;摄入约 3500 万 token 花费 8.24 美元,在两颗 CPU 上完成,未用 GPU。系统还让时间与“查无此项”显式化,并在调用模型之前按身份完成权限判定。
深度剖析
智能体记忆的构建单位从原始对话片段改为断言:每条断言记录谁说了什么、何时为真、持续多久,以及哪段原文可以作证,其余内容被有意丢弃。 常见做法是把全部记录保留、嵌入,再把最相近的片段塞进提示词,指望模型自行补齐片段之间的空白。 在 LongMemEval 这个覆盖长聊天历史的 500 题公开基准上,正确证据仍进入前十结果的比例为 99.8%。
记忆写入被收束到单一入口,入口可以拒收不合格的提交,而不是先索引再补救。 普通存储会把收到的内容全部索引,错误数据同样进入检索池。 一次基准运行中,一个转换缺陷开始输出人类可读日期而非机器可读时间戳,入口隔离了 5732 条提交,接受零条。
时间与缺失被显式表达:新事实取代旧事实但两者都留在记录上并带日期,每个问题都归结为已回答、已检索但无结果、或超出系统所知三种状态之一。 追加加检索的做法里,同一事实的旧片段与新片段只是两个片段,排序更高者胜出,检索为空时模型也分不清“没找到”和“不追踪”。 同一系统、同一数据,仅指示不得说信息缺失时,总分从 88.0 变为 87.2,但 30 次诚实拒答变成了 30 个编造答案;只按可回答问题计分时同样答案读作 92.8。
权限在模型运行之前判定:先确定身份,再按该身份的授权检索,最后才调用模型,披露级别在事实写入时确定而非读取时删改。 常见做法要么所有人共享一个上下文,要么在提示词里告诉模型不许说什么,后者等于让模型自己执行策略。 报告中一个财务读者查到营收数字 2,140,000,同一主题下销售读者只得到 2.0M 至 2.5M 的区间和“上升”趋势,其证据中不含精确值的任何字节;跨五对隔离记忆存储的对抗探测中,45 次攻击全部被拒绝或限制。
启示与展望
演示范围是跨组织的智能体记忆:三个公开基准、一个测试框架,以及公开的报告与逐题结果。作者表示下一步会把反复出现的形状整理成标准流程,再做成窄用途智能体或普通代码。
蒸馏被明确描述为有损的;用 Gemma 4 重建记录时答案质量移动一到两分,说明提取器选择会影响结果。作者也指出,只按可回答问题计分会让同一批答案读起来更高。
