Citation Telephone 上线:沿引用链回溯一句话,看结论在哪一步被改写
核心概要
TypeSafe 发布免费工具 Citation Telephone,用户给出一句被引用的句子,它便沿参考文献逐篇打开被引论文,找出该句所依据的段落,并标出每一跳是吻合、部分吻合、更进一步还是被改写。在留出的第三组 39 对全文引用上,工具找到支撑段落 38 对(97%),在 21 对审稿人判定论文并未陈述该主张的引用上误报 0 对;但每一跳的标签与审稿人一致的比例只有 47% 至 55%,警告应视为需要亲自读原文的理由。
深度剖析
Citation Telephone 把“核对一条引用”从人工逐篇翻查变成一条可展开的引用链:从一句被引用的句子出发,逐篇打开它引用的论文,找出该句所依据的段落,并标出主张在传递中是否被改写。 此前核对引用要打开被引论文找到对应段落,而要追查主张的真正来源,就得对途经的每一篇论文重复这一动作;材料引用的 2017 年追踪显示,Porter 与 Jick 那封 1980 年新英格兰医学杂志的五句话来信被 608 篇文章引用,其中 439 篇(72%)把它当作“成瘾罕见”的证据,而多数未提及其患者均为住院病人。 在留出的第三组 39 对全文引用上,工具找到支撑段落 38 对(97%,95% 置信区间 87 至 99.5%),在 21 对审稿人判定论文并未陈述该主张的引用上误报 0 对(0%,0 至 15%);三组合计为 125 对中找到 115 对(92%),72 对中误报 5 对(7%)。
工具在每一篇论文上重复同样的步骤,其中只有“找段落”和“判断段落”两步需要模型,找论文、解析结构、跟随参考文献都由普通代码完成。 判断由 TypeSafe 的 System One 决策模型 Jev 给出,它不写散文,只以概率回答定型问题;选段落时它只能在论文自身的段落编号和句子编号中挑选,因此屏幕上呈现的证据始终是论文里存在的文字。 开放获取论文从出版商提交的 JATS XML 全文读取,其中每处文内引用都链接到参考文献条目;arXiv 论文从其 LaTeX 生成的 HTML 读取。判断规则把概率转成结果:来源论文结束分支,转述论文则沿其引用的文献继续,每句最多三篇、每条链最多六跳和 24 篇论文。
启示与展望
工具只能读取开放获取的全文,来源包括 Europe PMC 开放获取子集、PubMed Central 的 NIH 作者手稿和 arXiv;其他可免费阅读但未开放许可的论文以及所有付费墙后的论文只能读摘要,书籍、报告、指南和网站完全无法读取。测试对全部取自 Europe PMC 的开放获取论文,以生物医学为主,句子取自引言或讨论且引用不超过三篇文献,方法部分引用、更长的引用列表和其他领域可能表现不同。
标签由 AI 审稿人给出,虽来自与工具模型不同的模型家族,但没有人类专家复核,样本小使置信区间偏宽,尤其对第三组和误报率。每一跳的标签是最弱的一环,与审稿人一致的比例仅 47% 至 55%,且分歧几乎都是工具把完全吻合判成部分吻合;第三组每次运行中,一条被审稿人判定可靠的引用得到了“更进一步”或“被改写”警告,而审稿人发现的三条问题引用均未被标为吻合,三条远不足以判断工具能否可靠捕捉问题。工具核对的是引用而非真伪,来源论文本身也可能出错。
