跳到主要内容
返回时间线
bioRxiv来源发表:

生物医学知识图谱问答不再只靠文档检索:三路系统并行合并,满意率从36%升到86%

导语

把GeneNetwork的1TB结构化数据改写成RDF图并配上文献语料后,文档、图、智能体三种检索增强生成并行合并的系统在40道专家题上把满意率从纯文档检索的36%提到86%,而把大部分工作交给本地模型仍能到59%。

Source-provided article image: An Expert-Curated Benchmark for Frontier and Local LLMs Querying a Biomedical Knowledge Graph
Fig. 1 · bioRxiv · 第 5 页

正文

同一批模型下,把文档检索、图检索和智能体检索三路并行再合并答案,比只做文档检索更能答对需要底层实验数据的问题。 此前的GNQA只索引描述GeneNetwork的非结构化文本,从不把结构化实验数据直接交给模型,因此需要数据集本身而非论文的问题无法回答。 在40道专家编写并附参考答案的题目上,全部使用Claude Opus 4.8时,纯文档检索的满意率为36%,而三路合并系统为86%。

系统把GeneNetwork的元数据从关系型数据库改写成RDF图,模型可以直接写SPARQL查询去取结构化数据,而不是只读预先转好的文本。 图检索和智能体图检索属于认知式架构,模型自己规划并作用于结构化数据;智能体版本还会检查返回结果、在多轮里修改查询再作答。 评测在40道题、三次重复上进行,由Claude Haiku 4.5作为裁判按精确率、召回率和f1打分,再折算成满意率ψ。

把大部分推理交给本地模型、只在困难步骤调用前沿模型,可以在明显更低的成本下接近全前沿模型的效果。 单独使用本地模型Qwen3 30B A3B时,图检索的满意率为17%,智能体检索为16%。 Qwen3 30B A3B与Claude Opus 4.8配对后,图检索升到43%、智能体检索升到53%,合并系统为59%,而全用Claude Opus 4.8的合并系统为86%。

接下来

这套系统面向需要查询GeneNetwork数据的生物医学与系统遗传学研究者,通过聊天界面回答关于模型生物、数据集和定位结果的问题。基准由领域专家从GeneNetwork的资源分类方案中整理出40道题及参考答案,覆盖不同难度。作者提出后续可让合并系统按任务选择子系统而非并行运行三路,并扩大可路由的模型范围。

ψ是LLM裁判精确率、召回率和f1的固定阈值汇总,作者说明它并未经过真人满意度研究校准,70%和60%的阈值也未用人工评分验证。基准取自开发RDF图和四个系统时所用的同一资源分类方案,没有独立留出的测试集,作者表示无法排除偏差。统计比较以三次重复为样本,自由度只有2,Claude Haiku 4.5和GPT-OSS 20B上的合并系统优势被判为不确定而非无差异。

来源