事实核查文章也能自动写:QRAFT把证据整理、成稿、编辑串成流水线,但专家说仍要人盯着
导语
QRAFT把事实核查文章写作拆成证据整理、成稿与模拟编辑审稿的多智能体流程,在1227条样本上自动指标优于既有文本生成方法,但专业核查员评分仍明显低于专家手写文章。
正文
自动事实核查多了一个新环节:不只判断claim真假,还要生成面向公众的完整核查文章。 此前的自动流程止于简短解释,通常只给出判定理由,不交代claim的来源、语境与反方论点。 这一任务定义来自与四家事实核查机构专家的访谈,专家列出准确澄清claim、交代来源、透明引用、结构清晰等要求。
QRAFT用三个LLM智能体分工,先由Planner从证据文档中抽取要点并拟出提纲,Writer据此写出初稿,再由Editor与Writer对话提问、生成修改清单并迭代润色。 对照方法包括朴素拼接、摘要式微调、JustiLM以及Vanilla-GPT和Storm等生成框架。 在ExClaimCheck与AmbiguousSnopes合并的1227条样本上,QRAFT在7项自动指标中的6项领先,FactScore比次优方法高11分,引用证据来源比例超过90%。
自动指标领先并不等于可用,专业核查员对生成文章的评分仍落在3到4分区间。 专家手写文章在相关性、可理解性、证据呈现和可发表性上得分最高,QRAFT多数情况下排第二,Storm最低。 12条气候变化claim的盲评显示,专家认为QRAFT文章常只是罗列数据,未能用证据论证claim为何成立或不成立。
接下来
该工作面向专业事实核查员,输入是已给定的claim、veracity与证据文档集,不涉及自动证据检索与claim判定。评估覆盖ExClaimCheck的987条与AmbiguousSnopes的240条,共1227条样本、22种veracity标签,另有12条气候变化claim的专家盲评。作者提出后续要整理更细的文章要求、开发更稳健的评估指标,并测试更强的推理模型。
作者说明,证据要点抽取依赖底层LLM保留上下文的能力,复杂claim可能丢失间接相关信息;实验只用GPT-4o与GPT-4o-mini,未系统比较其他模型组合;专家也指出生成文章常过于冗长、重复,且会把特定语境下的信息当作普遍事实。
