跳到主要内容

# BRIGHT 基准

2 篇关联报道

arXiv 2026年10月16日
长文档问答不再每次重搜：先让智能体建好文件系统，准确率从0.42升到0.75
长文档问答的检索通常要等查询到来才启动，同一批文档被反复重读。Librarian Agents 改为在查询之前训练一个构建智能体，把原始文档整理成带引用链接的多层合成文件系统，供冻结的答题智能体直接导航。在 BrowseComp-Plus 上，配 Qwen3.5-4B 答题端时准确率为 0.75，嵌入检索与重排基线分别为 0.42 和 0.44；未训练的构建智能体只有 0.28。
长文档问答的检索通常要等查询到来才启动，同一批文档被反复重读。Librarian Agents 改为在查询之前训练一个构建智能体，把原始文档整理成带引用链接的多层合成文件系统，供冻结的答题智能体直接导航。在 BrowseComp-Plus 上，配 Qwen3.5-4B 答题端时准确率为 0.75，嵌入检索与重排基线分别为 0.42 和 0.44；未训练的构建智能体只有 0.28。
Stanford University Carnegie Mellon University
Anikait Singh（第一作者）
Librarian Agents 图书管理员智能体预判式工作区构建组相对策略优化检索增强生成长上下文推理
arXiv 2026年9月26日
Seek 用测试时迭代检索让 Qwen2.5-7B 在 BRIGHT 上相对 BM25 提升 82%，GPT-4.1 达 37.4 nDCG@10
该工作提出 Seek——一个免训练的自评估探索式检索框架，通过在测试时进行多轮语料交互（LLM 依据累积的相关性反馈生成伪段落、检索器给出新候选、专门的评估器给出分级相关性判断以指导后续轮次），在 TREC Deep Learning 上排名质量与训练过的重排器相当并持续提升 Recall@100，在 BRIGHT 上 Qwen2.5-7B 相对 BM25 取得 82% 的相对增益并超过所有训练基线，GPT-4.1 达到 37.4 的平均 nDCG@10、超过最强基线 37%。
该工作提出 Seek——一个免训练的自评估探索式检索框架，通过在测试时进行多轮语料交互（LLM 依据累积的相关性反馈生成伪段落、检索器给出新候选、专门的评估器给出分级相关性判断以指导后续轮次），在 TREC Deep Learning 上排名质量与训练过的重排器相当并持续提升 Recall@100，在 BRIGHT 上 Qwen2.5-7B 相对 BM25 取得 82% 的相对增益并超过所有训练基线，GPT-4.1 达到 37.4 的平均 nDCG@10、超过最强基线 37%。
University of Waterloo University of California, Berkeley University of Toronto Toronto Metropolitan University
Amin Bigdeli（第一作者）
Seek：自评估探索式知识检索段落排序 BRIGHT 基准 TREC 深度学习基准

已读完全部报道