解析不再逐页反复校验:蒸馏出的单模型一次通过,ParseBench 得 87.9 反超教师
核心概要
Aleph Alpha 把逐页自检的智能体解析流程蒸馏成单一视觉语言模型 Parsy,让每页只跑一遍。此前该流程靠多个模型和最多三次校验达到 86.0 的 ParseBench 分数,但速度与成本难以支撑百万页级处理。Parsy 用该流程标注公开文档、再经独立版面模型、墨迹覆盖和第二个 OCR 模型清洗标签后训练,在 ParseBench 上得 87.9,单张 H100 每天可解析数十万页,每页成本比原流程低一到两个数量级。
深度剖析
文档解析从多模型逐页反复校验,改为一个模型一次通过。 原流程每页至少过一次评判模型,难页要循环多次,用多个模型和最多三次通过来保证质量,对每月处理数百万页的客户来说意味着更多 GPU。 在含 2,078 张人工核验企业文档页的 ParseBench 上,原流程内部评测得 86.0;蒸馏后的 Parsy 用公开评分代码在全部五个类别上得 87.9,高于榜单报告的 LlamaParse Agentic Plus 的 86.6。
训练数据来自原流程自己的输出,但标签要经过不共享其盲点的检查。 只用解析器输出训练会继承其系统性错误,而共享盲点的评判模型抓不到这些错误。 每轮训练后用独立版面模型比对区域、用墨迹覆盖检查找出落在所有框外的印刷文字、用第二个 OCR 模型复读同一区域,分歧页被标记,再由人工抽样确认各检测器实际能抓到什么,修正后重新训练。
单模型一次通过也改变了它在榜单上的位置。 ParseBench 上几乎每个头部系统都是多模型多遍的流水线,视觉语言模型中次高分为 80.5。 Parsy 的 87.9 比该 80.5 高七分;作者还观察到把 Parsy 输出再送进原流程的评判与修正循环,其 ParseBench 分数反而下降。
启示与展望
演示范围是企业与公共部门文档的解析,包括嵌套表格、脚注、扫描件与表单,且要求自托管部署;ParseBench 分数由公开评分代码在全部五个类别上给出,作者称该分数可列公开榜首,但 Parsy 目前只通过客户合作提供,未列入该榜单。
作者把模型反超归因于训练数据已过滤掉教师运行时的错误,并观察到把 Parsy 输出再送进评判修正循环会降低其 ParseBench 分数,说明该循环在此已不再增益;吞吐数字随页面密度、分辨率和版面要求变化,作者未给出单一固定值。
