arXiv来源发表:
长对话记忆不再整库检索：智能体按需下钻，只读8%的对话就完成推理
核心概要
个性化助手要从长对话历史里找回稀疏证据，而查询的复杂度差别很大。APDMem把对话历史组织成主题摘要、个性化关键事实、轮次级证据笔记和原始消息四层，由控制器先读高层摘要，只在需要时下钻到更细的证据。在LongMemEval上，它取得较强的长上下文记忆推理表现，同时只访问全部对话的8%。
深度剖析
长对话记忆检索从固定粒度改为由控制器逐层下钻，简单查询可以提前结束，复杂查询才深入更细的证据层。 此前的做法依赖扁平记忆库或固定检索粒度，对所有查询采用同一套取回方式。 在LongMemEval上，这一分层检索取得较强的长上下文记忆推理表现，同时只访问全部对话的8%。
对话历史被组织成四层逐级详细的表示，从主题摘要一直到原始消息。 分层结构让检索成本与答案保真度之间形成可调的取舍，而不是一次性取回全部相关内容。 时间、多跳或需要精确证据的复杂查询会触发更深层检查，简单查询则在高层摘要处终止。
取回的证据先被整理成面向查询的结构，再交给最终答案生成。 笔记合成器把证据中的事实归并、事件排序，并标出相互矛盾之处。 这一整理步骤发生在答案生成之前，作用于检索到的证据。
启示与展望
这一结果针对个性化助手从长对话历史中检索证据的场景，评测集为LongMemEval，报告的表现与只访问全部对话8%的访问比例都限定在该设置内。适合关注长上下文记忆与检索成本的研究人员和工程师阅读。
摘要只说明在LongMemEval上取得较强表现并给出8%的访问比例，未列出具体指标数值，也未说明在其他数据集或对话长度下的表现。分层下钻在复杂查询上触发更深检查，其代价与收益的平衡仍以该评测设置为准。