跳到主要内容
返回时间线
arXiv来源发表:

检索单位从内容换成推理骨架:PatternBloom 让 7B 智能体在多跳问答上随推理深度累积优势

核心概要

PatternBloom 把智能体检索增强生成(RAG)的检索单位从“读什么内容”改为“怎么推理”的类型化图骨架,骨架由第一阶段强化学习高分轨迹蒸馏进外部图模式记忆,第二阶段再用模式覆盖奖励把策略与这份冻结记忆耦合。在七个问答基准上,7B 版本在全部七项数据集上按 EM 与 F1 排名第一,平均分布外 EM 领先 R1-Searcher,且同一冻结模式记忆可迁移到 Qwen3-8B 骨干。

Source-provided article image: PatternBloom: Empowering Agentic RAG with Externalized RL-Distilled Graph Patterns
arXiv

深度剖析

检索增强的智能体不再只检索段落、知识图谱子图或超边,而是检索一张类型化的有向推理骨架,它规定如何在已取回的证据上行走,而不是规定读哪段证据。 此前的段落式、知识图谱式和结构感知式方法虽然检索单位不同,但穿过证据的推理路线始终留在语言模型隐状态里,同一逻辑类型的查询每次都要从头推理。 在七个问答基准上,7B 的 PatternBloom 在全部七项数据集上按 EM 与 F1 排名第一,平均分布外 EM 领先 R1-Searcher,并在五个分布外测试集上保持第一。

两阶段强化学习把证据图本身变成被监督对象,再把高分轨迹里的推理骨架抽出来存成可检索的外部记忆。 以往强化学习只按最终答案字符串给奖励,一个含噪声三元组的图和干净图只要答案对就得到同样奖励。 信息密度奖励按每条三元组归一化冻结评分模型对答案的信息增益,并用格式门控把格式错误的轨迹压到零;模式增强奖励把答案奖励与轨迹对检索骨架的覆盖度做凸组合,覆盖度以骨架大小而非并集为分母。

去掉任一组件都会掉分,说明三者共同起作用。 完整配置在 HotpotQA、2Wiki、MuSiQue、Bamboogle 上的平均 F1 为 55.9。 去掉模式增强奖励后平均 F1 降到 44.1,禁用图模式记忆降到 46.6,跳过信息密度奖励预训练降到 52.9。

启示与展望

演示范围是维基百科分块超图上的多跳问答,训练数据为 HotpotQA 与 2WikiMultiHopQA,测试覆盖七个基准;作者指出向生物医学、法律或金融等非维基语料的跨域迁移不在本文范围内,并把零样本跨域迁移列为下一步基准。

实验使用固定随机种子且未报告误差棒;作者也说明模式记忆只在维基百科超图底物上验证,跨域迁移尚未测试。