EngramEdit 通过条件记忆实现解耦知识更新，CounterFact 效用达 93.9 并保留逾 96% 通用能力
核心概要
EngramEdit 提出一种通过条件记忆实现解耦知识更新的方法：先为同一事实的多种表达计算目标记忆表示，再联合求解共享 n-gram 嵌入的更新，并对高频复用嵌入施加更强惩罚；在 LongCat-Flash-Lite 上，仅更新条件记忆即可在 CounterFact 与 ZsRE 上取得近乎完美的编辑成功率，改写后的知识可用于未见表达与多跳推理，且无关知识与通用能力基本保持。
Figure 1 : Conditional memory and knowledge updating with EngramEdit . (a) Input n n -grams look up learned embeddings for backbone computation. (b) Disabling memory in DeepSeek Engram causes larger relative performance drops on factual-knowledge benchmarks [ 3 ] . (c) EngramEdit computes target memory representations and jointly updates the corresponding n n -gram embeddings, with stronger penalties on frequently reused embeddings.
arXiv深度剖析
仅更新条件记忆中的 n-gram 嵌入、保持 Transformer 主干与 MoE 专家不变，即可完成事实知识编辑，CounterFact 效用 93.9、ZsRE 效用 76.4，均高于 FT、FT-L、AdaLoRA、UnKE、MoEEdit 以及直接微调记忆的 MFT-S、MFT-A。 此前条件记忆主要用于模型扩容、个性化与领域适配，本文把它当作可编辑的知识接口，将事实存储与通用计算分离，编辑不再触碰主干参数。 在 LongCat-Flash-Lite（68.5B 参数 MoE，其中 31.4B 位于 n-gram 嵌入）上做 2,000 条顺序批量编辑，每批 100 条，报告 Efficacy、Generalization、Specificity 及其均值 Utility，并给出 95% 置信区间。
改写后的知识能迁移到编辑时未见的同义表达，并在多跳推理中被使用：MQuAKE 上采用思维链提示时准确率接近最强基线的 3 倍，且在二跳、三跳、四跳各组均领先。 以往编辑方法在编辑提示上成功并不保证换一种说法仍能召回；本文通过为每个事实生成多种表达并联合匹配目标，扩大了被更新的 n-gram 覆盖范围。 3,000 个 MQuAKE 反事实案例（1,135 个二跳、1,136 个三跳、729 个四跳），标准提示与思维链提示对比，报告 Wilson 95% 置信区间；消融显示去掉联合分配后 CounterFact 效用从 93.9 降至 77.4。
无关知识与通用能力在持续编辑中大体保持：5,000 条顺序 CounterFact 编辑后仍保留超过 96% 的编辑前平均 F1，ZsRE 上保留 93.83% 的正确性状态与约 87.4% 的原本正确预测。 本文用 n-gram 长度与语料频率作为复用指标，对更短或更频繁的嵌入施加更强更新惩罚，并证明该加权可约束无关输入上记忆表示的平均平方变化。 六个通用能力任务各 100 例，编辑前及每 500 条编辑评估一次；11,379 条邻域提示上的正确性转移分析；消融中去掉复用正则化会降低 Efficacy 与 Specificity。
模型确实依赖这些记忆更新来召回改写后的事实：禁用与事实相关的更新会使 5,850 个成功提示中的 5,228 个失败，效果接近禁用全部 9,253 个更新，而数量与 n-gram 长度匹配的随机禁用不造成任何成功提示失败。 这提供了因果性的使用证据，而非仅凭编辑成功率推断，说明改写知识通过被激活的少量 n-gram 嵌入进入前向计算。 在 2,000 条 CounterFact 编辑后的同一模型上做四种禁用条件对比，并用长度归一化对数似然计算编辑边际；92.24% 的无关查询退化伴随被更新嵌入的激活。
启示与展望
该结果面向采用 n-gram 条件记忆的 LLM 部署场景，例如需要修订过时事实、同时保持通用能力与无关事实稳定的服务；方法在推理时只有当对应 n-gram 在当前前缀中被激活，嵌入更新才进入计算，因此适用于可定位到主体位置的编辑请求。作者指出未来工作可探索其他条件记忆架构与模型规模，以及更高频率、更多事实的高效稳定更新。
读者仍需留意：实验集中在 LongCat-Flash-Lite 单一模型与 2,000 至 5,000 条顺序编辑规模，更大模型与更高编辑频率下的表现尚待验证；通用能力中 MRPC 出现相对更大的 F1 下降，作者将其归因于该任务需要比较两句语义、而两句可能激活不同 n-gram；跨编辑共享虽只涉及 1.25% 的更新 n-gram，却集中了 97.96% 的 Efficacy 失败，说明共享嵌入上的目标冲突仍是开放问题；此外，评估使用既有基准，其中反事实编辑目标仅作实验测试用例，不应视为真实世界事实。