跳到主要内容
返回时间线
arXiv来源发表:

智能体记忆不再只防写坏内容:保留哪段经历、按什么顺序合并,同样能改写决策

核心概要

MemForm把智能体长期记忆的形成过程拆成内容、证据、范围、选择、路径五个可干预接口,在六个大模型和两种作答格式上,五个接口都出现了行为被改写的情况。

Source-provided article image: MemForm: Benchmarking Memory Formation Poisoning in LLM Agents
Figure 1 · arXiv

深度剖析

智能体长期记忆的风险点从“写进去什么”扩展到“记忆怎么形成”。此前对记忆投毒的研究按攻击通道、污染形态或生命周期阶段来组织,形成阶段的接口没有被单独刻画。 此前评测把干预按攻击机制或生命周期归类,缺少一套在多个形成接口之间做配对对照的公共协议。 MemForm为每个接口配一组干净条件与投毒条件,并固定非目标因素,在六个大模型、两种作答格式和两种记忆协议实现上做对照评测。

记忆形成被拆成五个接口:内容、证据、范围、选择、路径。内容投毒直接指定写入持久记忆的内容;证据投毒用伪造记录替换真实经历;范围投毒保留记录真实性但改变上下文支持;选择投毒在固定候选池里换掉被保留的经历;路径投毒在经历集合与更新器不变时改变合并顺序。 选择与路径两类干预此前没有被作为独立对照类别提出,它们分别隔离保留与合并顺序的影响。 基准由300个生成语义族经校验保留235族,编译出1016个配对案例,再实例化为994道选择题与897道自由作答,共1891个格式实例。

即使经历本身真实且结果成功,改变上下文支持、保留子集或合并顺序仍能诱导出不良的下游行为。 此前判断记忆是否可靠主要看单条经历是否有效,而相同经历集合在不同合并顺序下会给出不同决策。 在DeepSeek-V4-Flash与Claude-Sonnet-5上,范围投毒下范围内查询保持参考行为分别为99.4%与100.0%,范围外降到26.7%与52.0%;路径投毒下随机顺序保持参考行为77.5%与83.5%,设计顺序降到42.1%与62.4%。

启示与展望

这套基准面向受控诊断:它测量指定形成干预下的行为易感性,而不是部署系统中攻击的成本或端到端成功率。评测覆盖六个大模型、选择题与自由作答两种格式,以及LangChain与LlamaIndex两种策略式记忆协议实现,并额外考察一种只做检索的情景记忆架构。适用读者是研究智能体记忆安全与记忆机制的研究者与工程师。

结果反映的是指定构造约束与各模型各自的合格子集,而不是固有脆弱性排序。主要评测的两种实现共享同一策略式记忆协议,向记忆操作差异较大的架构推广受限。路径投毒依赖更新器,批量重放虽在评测的短历史设定下几乎消除该效应,其在更长历史下的可扩展性与效用权衡尚未考察。基于时序的选择与路径实现假设事件池固定,未评估从零诱导这些经历的成本与成功率。