跳到主要内容
返回时间线
arXiv来源发表:

独立LLM评审给PET解聚文献建库:3942条记录67.5%原样通过,修正集中在催化剂与溶剂质量

核心概要

均相催化PET解聚的实验数据散落在正文、表格和补充材料里,人工整理难以规模化。这套流程让抽取模型为每条记录标注来源文本块的唯一标识,再由一个独立的LLM评审对照原文逐字段核查并给出带引用的修正建议。在295条人工整理的离子液体PET糖酵解实验上,评审与人工判断的一致率为85.7%;在561篇论文抽出的3942条记录上,67.5%被原样接受,修正集中在催化剂与溶剂质量等定量字段。

Source-provided article image: Building and Auditing Chemical Datasets with LLMs: A General LLM-as-a-Judge Framework Applied to Homogeneous Catalytic PET Depolymerisation
arXiv

深度剖析

化学文献里的实验记录现在可以带着可追溯的出处被批量抽出,并由另一个模型独立复核,而不必先有一份人工整理的答案作对照。 此前从化学文献自动抽取结构化数据,可靠性验证通常依赖已有的参考数据集或记录级、准则级的整体评分,难以确认每个字段是否真被原文支持、是否属于同一次实验。 在24篇论文、295条人工整理的离子液体催化PET糖酵解实验上,评审模型与人工判断在112条抽样记录中一致96条,即85.7%。

抽取与复核被拆成两个模型:一个负责把论文变成结构化记录,另一个只负责挑错。 抽取模型被要求为每条记录填写来源文本块的唯一标识,评审模型则同时拿到整篇论文和这条记录。 评审逐字段判断是否被原文支持、是否对应同一次实验运行,先写出引用文本块标识的证据评述,再给出接受或拒绝的结论和修正值。

在全部语料上,评审把大部分记录判为可用,并把需要人看的地方集中到少数定量字段。 561篇论文最终得到3942条均相催化记录,评审原样接受2661条,占67.5%,提出带引用修正1202条,占30.5%,直接拒绝79条,占2.0%。 修正最集中在催化剂质量(508处)和溶剂质量(327处),原因是作者常在方法段落给出一次绝对质量,随后在结果表格中以比例隐含变化。

启示与展望

已演示的范围是均相催化PET解聚文献:基准为24篇论文中295条离子液体催化糖酵解实验,规模化结果覆盖561篇论文的3942条记录;抽取模式同样适用于甲醇解和水解,但这两条路线没有经过人工参考答案的基准检验。

评审只检查抽取出的记录是否准确,无法发现抽取器整条漏掉的实验;它也会误报,因此修正建议以可检查的变更日志形式发布。此外,1575篇相关论文中只有1027篇取得全文,缺失的548篇明显偏向特定出版商,而3.5%的来源文本块引用未能链接到真实文本块。