化学检索模型Valence专攻“近邻干扰”：同一领域内找对段落81.8%，通用模型仅2%至4.5%
核心概要
Albert发布面向化学研发的检索模型Valence，用来在配方科学问答中挑出真正回答问题的段落。通用检索模型擅长跨领域粗分，却难以区分同一领域里用词和分类相近、答案不同的段落；在FormBench的困难测试中，OpenAI与Voyage的通用模型在前100条结果中找到正确段落的比例为2%至4.5%，Valence为81.8%。在更严格的指标上，Valence得0.41，领先的通用模型得0.009。
深度剖析
化学研发的AI检索要解决的不是跨领域分类，而是同一领域内共享词汇、材料类别乃至专利分类的段落之间的区分。 通用检索模型为广度而建，能把涂料文档与个人护理文档分开，却常常无法判断两段同领域文本哪一段真正回答问题。 在一个真实语料查询中，一个领先的通用检索模型把正确段落排到约一百万段中的第300名之后，并把错误段落放在首位，且给两者的分数几乎相同。
Valence用数万个“近邻”样本训练，学会配方化学家区分相似段落的信号，例如成分扮演的角色和它面向的应用。 通用模型把同一领域的段落压进一条狭窄的分数带，第一名与第一百名差别很小；Valence把这些段落拉开，让正确答案浮到顶部。 FormBench由超过59万件美国配方专利构建出约一百万段语料和超过5.5万条按配方化学家口吻写成的查询，每条查询配一个含答案的段落；困难测试的干扰项来自同一领域。
启示与展望
报道的评测范围是FormBench：由超过59万件美国配方专利构建的约一百万段语料和超过5.5万条查询，覆盖制药、粘合剂、涂料、农化、食品和个人护理。Valence被描述为Ask Albert背后的检索引擎，可针对企业自有文档调优。
报道称部分通用模型在语料增至约一百万段时分数下降超过80%，而Valence保持稳定，但未给出Valence在不同语料规模下的具体数值。困难测试的命中率与严格指标均为报道所述结果，尚未见独立复现。