跳到主要内容
返回时间线
researchsquare.com来源发表:

VGA-KIE给文档抽取加一道复核关:同一候选缓存上平均Field-F1从93.49升到97.65

核心概要

视觉丰富文档的关键信息抽取常能生成格式合法的字段值,却难以说明该值来自哪块版面、是否满足模式与跨字段约束。VGA-KIE把字段值、可定位证据、校验状态、失败原因和修复记录合成一个字段级状态,只在证据重新链接并通过同一组约束校验后才放行修复结果。在与LayTokenLLM-8B直接抽取共享同一冻结候选缓存的配对比较中,平均Field-F1由93.49升至97.65,4720个目标字段中放行4475个。

Source-provided article image: VGA-KIE: Reliable Layout-Aware Key Information Extraction from Visually Rich Documents via Evidence-Grounded Verification and Repair
Fig. 1 · researchsquare.com · 第 4 页

深度剖析

关键信息抽取的输出不再只是一个字段值,而是一个带证据、校验状态和修复历史的字段级状态,只有证据非空且可定位、约束可检验、状态为通过的字段才会被放行。 此前的文档模型主要改进候选生成,把候选值、可定位证据、校验状态和修复动作分散在不同组件里,无法形成带可审计转移规则的统一字段状态。 在与LayTokenLLM-8B直接抽取共享同一冻结检查点、输入处理、解码配置和候选缓存的配对比较中,平均Field-F1从93.49升到97.65,三个数据集上分别提高4.05、4.45和3.98个百分点。

系统按抽取、定位、校验、修复、再校验的顺序处理每个目标字段,修复只作用于被判定为失败或不确定的字段,而不是重跑整篇文档。 定位模块把候选值链接到词元片段、文本行、文本块、表格单元格或图像区域,校验器再检查格式、空间、证据、语义、跨字段和表格结构六类约束。 在FUNSD、SROIE和CORD组成的固定测试清单上,共497篇文档、4720个目标字段,VGA-KIE放行4475个,接受覆盖率为94.8%。

修复后的候选必须重新做证据链接并通过同一组约束校验,才能进入最终输出,这一道再校验关口主要用来限制有害改写。 去掉再校验后,修复成功率反而略高,为71.8%,但错误修复率从2.1%升到5.8%。 完整系统在400个初始错误并进入修复的字段中修对282个,修复成功率70.5%;在4100个初始正确字段中有86个被改成错误值,错误修复率2.1%。

启示与展望

结果限定在FUNSD、SROIE和CORD三个数据集、固定划分与共享评测脚本下,候选生成器固定为LayTokenLLM-8B,延迟1.32倍只计冻结候选缓存之上的后处理开销,不含OCR与候选生成。

失败检测指标是二分类的,六类主导失败原因各自的精确率、召回率和F1尚未给出;结果未建立跨候选生成器的稳定增益,也未覆盖长多页文档;所有数值都是固定测试集上的点估计,没有文档级自助置信区间或跨随机种子的方差。