Muchen Li

该工作提出 Mixture of Memory Embeddings（MoME），把每个 token 的单一记忆行扩展为多个记忆槽，并用基于隐藏状态的学习门控在每一位置稀疏选择要读取的槽，从而在保持 token 索引式廉价查表的同时让记忆检索具备上下文感知；在 nanochat、Llama-3/MobileLLM 与 Qwen3 三类骨干的受控预训练中，MoME 在等参数与等训练 FLOP 设定下优于 Value Embedding、Bigram 与 STEM 基线，在十亿参数以下规模显示出更有利的记忆规模扩展趋势，训练与推理仍保持高效，并且对多义词的路由分析显示同一表层 token 在不同语义下被派发到不同记忆槽。

该工作提出 Mixture of Memory Embeddings（MoME），把每个 token 的单一记忆行扩展为多个记忆槽，并用基于隐藏状态的学习门控在每一位置稀疏选择要读取的槽，从而在保持 token 索引式廉价查表的同时让记忆检索具备上下文感知；在 nanochat、Llama-3/MobileLLM 与 Qwen3 三类骨干的受控预训练中，MoME 在等参数与等训练 FLOP 设定下优于 Value Embedding、Bigram 与 STEM 基线，在十亿参数以下规模显示出更有利的记忆规模扩展趋势，训练与推理仍保持高效，并且对多义词的路由分析显示同一表层 token 在不同语义下被派发到不同记忆槽。