Co-LMLM 将向量检索查询与下一词预测交错预训练，在 360M 规模上困惑度低于用 40 倍数据训练的模型，SimpleQA 表现与 gpt-4o-mini 相当并高于 Claude Sonnet 4.5
该工作提出连续查询有限记忆语言模型（Co-LMLM），在预训练中把灵活的向量检索查询与下一词预测交错进行，并训练模型复制知识库返回的知识而非记忆它，采用联合训练知识外化 LLM、归纳其知识库并学习连续检索机制的可扩展方法；在多个模型规模的预训练中，Co-LMLM 在困惑度和事实精确度上均优于此前的知识外化模型和普通 LLM，在 360M 规模上困惑度低于用 40 倍数据预训练的模型，SimpleQA 验证表现与 gpt-4o-mini 相当且高于 Claude Sonnet 4.5。