检索不再只认“黄金块”:Perplexity新嵌入模型把答案与佐证一起排进前十
核心概要
Perplexity发布pplx-embed-v2-context系列上下文嵌入模型,用查询感知的上下文压缩模型蒸馏出分级的块级相关性,替代需要大模型逐条标注的黄金块标签,训练目标也不再绑定切块方式。9B版本在context-bench的Answer@10上比最强基线voyage-context-4高14.4个百分点,并在Q2D-Chunk与ConTEB上取得最优;0.6B版本与9B共享嵌入空间,可用小模型查询9B建立的索引。
深度剖析
检索模型现在不只找回答问题的那个块,还要把读懂和核实答案所需的佐证块一起排到前面。 此前的上下文嵌入训练与评测都假定一个查询只对应一个相关块,其余同文档块被当作负例,评测也只奖励把这一块排到第一。 在context-bench上,9B模型Answer@10为45.5,比最强基线voyage-context-4的31.1高14.4个百分点,且该基准由turbopuffer在开发期间以盲测方式运行。
训练信号改为从查询感知的上下文压缩模型蒸馏出的分级相关性,不再依赖人工或大模型挑出的单个黄金块。 压缩模型为文档每个词元给出被保留的概率,按词元聚合即可得到任意切块方式下的块级相关性,因此训练目标与切块解耦。 训练混合约440个公开与内部查询—文档数据集、50多种语言,9B模型约5700万训练对,且未使用任何块级标注、ConTEB训练数据或两个新基准的数据。
两个新基准同时标注回答块与佐证块,把“答案散落在多个块”的场景纳入评测。 已有基准每个查询只标一个黄金段落,无法检验模型是否找到确认答案所需的实体、日期或条件。 Q2D-Chunk含6069条基础查询、改写后11719条,覆盖10种语言、26个领域,平均每查询14.0个答案片段;context-bench含2099条查询、38894篇文档,97%的查询带佐证。
启示与展望
已展示的范围是文本块级检索与页面级视觉文档检索:评测覆盖context-bench、Q2D-Chunk、ConTEB、ViDoRe-V3与MIRACL-Vision,文档最长按32768词元单次编码。
两个基准上的佐证检索仍然困难,Q2D-Chunk上9B模型的语料级Evidence@10为46.6,且佐证检索一项由非上下文的Nemotron-3-Embed-8B领先;Q2D-Chunk的标签由大模型标注与仲裁产生,应视为模型判断。
