MongoDB Research发布LEAF蒸馏框架：23M参数嵌入模型保留教师97%性能，无需GPU即可检索
核心概要
MongoDB Research 发布 LEAF 知识蒸馏框架，并公开两个 23M 参数文本嵌入模型 mdbr-leaf-ir 与 mdbr-leaf-mt。此前高性能嵌入模型动辄上亿至数十亿参数，通常依赖 GPU 服务器，且不同模型之间嵌入不兼容，换模型需重算全部文档向量。LEAF 只对齐教师与学生输出嵌入，蒸馏模型保留教师最高 97% 的性能，体积小 5–15 倍、速度快 7–24 倍，可在纯 CPU、物联网与移动设备上离线运行。
深度剖析
LEAF 蒸馏出的学生模型与更大的教师模型嵌入空间兼容，两者产出的文本嵌入可以互换使用。 此前信息检索系统通常用同一个大模型同时做文档索引和查询编码，而现有嵌入模型彼此不兼容，即使同一家族的不同尺寸也不行，换模型必须从头重算每个文档的嵌入。 这种兼容性来自一个训练目标：让学生模型的输出嵌入逼近教师模型的输出嵌入，从而支持文档用较大模型嵌入、查询用本地快速 LEAF 模型编码的非对称部署。
LEAF 只约束教师与学生最终输出嵌入之间的 L2 近似误差，不要求对齐中间层。 早期蒸馏方法尽量对齐教师与学生的内部结构，包括注意力矩阵以及所有层、所有注意力头的隐藏状态；后续工作改为只关注 Transformer 主干最后一层。 训练不需要标注数据，也不依赖对比学习所需的判断标签和难负样本；小批量即可训练，两个蒸馏模型在单张 A100 GPU 上完成训练。
两个 23M 参数模型分别在各自规模档位取得公开榜单第一。 mdbr-leaf-ir 由 snowflake-arctic-embed-m-v1.5 蒸馏而来，mdbr-leaf-mt 由 mxbai-embed-large-v1 蒸馏而来。 mdbr-leaf-ir 在 BEIR 与 RTEB 公开榜单上位列参数量不超过 100M 的模型第一；mdbr-leaf-mt 在 MTEB v2 (Eng) 公开榜单上位列参数量不超过 30M 的模型第一。
启示与展望
演示范围限于文本嵌入模型：两个 23M 参数模型在 BEIR、RTEB 与 MTEB v2 (Eng) 公开榜单的限定参数量档位内比较，吞吐量在 2vCPU 实例上测得为每秒 120 条查询和每秒 20 篇文档，全精度版本内存占用 87MB。模型以 Apache 2.0 许可在 Hugging Face 发布，按现状提供，不含明示或暗示的支持；发布时未用于 MongoDB 的任何商业产品或服务。
发布方称模型为同规模档位中的最佳，这一判断依据的是公开榜单在参数量上限内的排名，而非跨规模比较。吞吐量与内存数据来自特定实例测量，量化版本的具体收益未在文中逐项给出。