记忆送进上下文不等于被用上：MemUse 逐条追踪投递，发现多数条目无关、多数相关条目未被采纳
核心概要
MemUse 把评估单位从整条任务结果换成单次记忆投递：在 8,000 条 SWE-bench Verified 智能体轨迹上，三种记忆系统的解决率与无记忆基线相差不超过 0.4 个百分点，但逐条判定显示多数投递条目与任务无关，各系统中 51.3%–79.7% 的相关条目未被智能体采纳，且 23.2% 有有益记忆使用的回合仍然失败。
深度剖析
记忆评估的观察对象从任务最终成败移到每一次记忆投递：一条记忆被送进模型输入后，是否被智能体用上、用后带来什么后果，现在可以单独判定。 此前的记忆基准主要比较有无记忆时的整体任务表现，或依赖标准答案、参考操作轨迹和受控记忆干预，无法从一次已记录的运行中说明单条投递起了什么作用。 在覆盖 SWE-bench Verified 全部 500 个任务、三种记忆系统四种配置的 8,000 条记忆回合与 2,000 条无记忆回合上，四种配置的解决率为 72.65%–73.35%，无记忆基线为 72.95%，差值 95% 区间均包含零。
每条投递被拆成信息质量、使用和后果三个层面分别打分，因此“相关但没用”和“用了却有害”不再混在同一个任务结果里。 判定由智能体评审模型完成，它拿到投递原文、投递前智能体已能看到的上下文，以及该条目可认领的后续动作窗口，并须引用完整读过的轨迹步骤。 程序化检查强制完整读取被引用的证据，固定规则再把评分汇总为跨度判定；15,271 个受评跨度中 949 个触发补读，最终全部通过校验。
启示与展望
演示范围是 mini-SWE-agent 在 SWE-bench Verified 500 个 Python 任务上的记录轨迹，覆盖 MemGovern、Mem0 两种配置和 TencentDB Agent Memory 共四种配置；判定描述的是记录回合中的观察行为，不是对任务成败的反事实效应。
评审与人工判断的一致性在这轮评估中尚未测量；MemGovern 语料与基准问题自身的讨论和修复记录存在重叠，这种重叠在全部语料中的普遍程度也尚未测量。