记忆检索不再只看整句向量：复用冻结编码器的词元状态，Qwen3-4B 平均 Recall@10 从 62.5 升到 75.7
导语
记忆检索不再只比整句向量：复用冻结编码器已算出的词元状态做稀疏匹配，再与整句相似度融合，Qwen3-Embedding-4B 上平均 Recall@10 从 62.5 升到 75.7，且无需额外训练。
正文
记忆检索的排序依据从整条记忆的单一向量，扩展到查询词元与记忆词元之间的局部匹配。 此前的单向量检索只用整条记忆的相似度打分，不显式匹配记忆内部与问题相关的那一小段内容。 在 Qwen3-Embedding-4B 上，不加查询适配的融合把八个基准的平均 Recall@10/NDCG@10 从 62.5/48.0 提到 73.8/59.9，同一骨干上直接 MaxSim 为 67.8/54.3，ColBERTv2 为 70.8/59.5。
做法是让每个查询词元在全部候选记忆的词元里取一小批最相似的匹配，按来源记忆汇总成分数，再与整条记忆的相似度融合排序。 局部与整句两路分数先按查询做标准化再按权重相加，因此即使某条记忆没有任何词元被检索到，它仍可能凭整句分数进入结果。 八个基准共 5,873 条查询，覆盖 LoCoMo、LongMemEval、REALTALK、ESG-Reports、QASPER、PeerQA、CovidQA 和 MLDR，并在 Qwen3-Embedding、Llama 系、EmbeddingGemma-300M 与 Jina-v5-text-nano 共八个冻结骨干上评测。
可选的查询适配只训练一个低秩残差，编码器和已存好的记忆表示都保持不动。 适配只作用于局部查询分支，整句查询向量与记忆索引不变，因此记忆库建一次即可复用。 在 Qwen3-Embedding-4B 上查询适配把平均 Recall@10/NDCG@10 进一步提到 75.7/62.3；LoCoMo 上答案准确率从 63.44% 升到 67.86%，LongMemEval 从 67.80% 升到 72.60%。
接下来
报告面向做记忆检索与长上下文问答的研究人员和工程师，评测覆盖八个检索基准与八个冻结骨干，下游问答用 Qwen3-30B-A3B-Instruct 作答、GPT-4o-mini 固定评判，主比较检索 10 条记忆。压缩方面，四比特标量量化相对未压缩索引把存储降低 81.4–85.9%，平均 Recall@10/NDCG@10 变化为 +0.33/+0.19 点。
词元检索预算从 16 增到 128 时，LongMemEval 上每条 Recall 曲线跨度不到 1.6 个百分点、NDCG 不到 0.9，LoCoMo 上训练无关的 Qwen-4B 在预算超过 32 后两项指标都下降。查询适配的收益随骨干变化，Llama-3B 出现小幅下降，EmbeddingGemma 在四舍五入后不变。检索到的记忆预算变化时，增益在两种数据集和八个骨干的每个预算上都存在。