跳到主要内容
返回时间线
arXiv来源发表:

个人助手记住的提案不等于用户同意:加一层轻量校验,未获认可的提案执行率从0.44降到0.08

核心概要

个人助手把用户没答应的提议当成用户指令执行,一个不改模型、不训练的记忆外挂层把这类越权执行从0.44降到0.08。

Source-provided article image: Knowing the User Is Not Knowing What We Established: Grounding Awareness in Personal Agents
Figure 1 · arXiv

深度剖析

个人助手会执行用户从未认可的提议,而记忆越好、信息越全,这种越权执行反而越多。 此前个人助手记忆研究主要衡量能否记住用户的事实、偏好和更新,默认记住就等于可以照做。 在160个场景、800个测试实例上,MemOS在LongMemEval-KU知识更新上得0.75、LangMem在PersonaMem偏好演化上得0.75,但在区分接受与未认可上敏感度只有0.11和0.23。

越权执行发生在记忆写入、检索和动作选择三个环节,即使原始对话完整可查,助手也常常不用其中的认可状态。 此前认为只要保留完整对话或提高推理能力,助手就能分辨哪些安排已经确立。 Mem0和LangMem分别有28%和46%的错误发生在写入阶段,A-Mem有55%发生在检索阶段,MemOS有47%发生在动作选择阶段;完整历史下仍有71%的错误发生在证据可查时。

一个不改动模型和记忆系统的轻量层,把认可状态显式记录并在有后果的动作前校验,能显著改善助手行为。 此前没有把“谁提出、是否被接受、适用范围”作为独立状态纳入记忆管线。 在DeepSeek-Flash和Qwen3.8-Flash与五种记忆组合的十个配置上,敏感度全部提升,例如LangMem下从0.17升到0.36、从0.21升到0.51,越权执行从0.30降到0.09、从0.44降到0.08。

启示与展望

这套基准用匹配的对话历史隔离认可状态,适用于研究个人助手记忆与动作选择的研究者和工程师。外挂层用固定规则约束有后果的动作,作者提出后续可研究助手如何学习依赖情境的授权策略,同时保留用户同意的显式证据。

真实对话中的同意可能是隐含的、渐进的或相互冲突的,基准尚未覆盖这些情形。作者对WildChat的分析显示,隐含接受比显式接受更常见,而助手对隐含接受与未回应的反应相近。外挂层相对仅做授权检查的增益依配置而定,在Qwen上差异不显著。