跳到主要内容
返回时间线
huggingface.co来源发表:

百度发布 Unlimited OCR 2:用固定大小的参考窗口,把文档解析推向不限长度

核心概要

百度发布 Unlimited OCR 2,目标是把文档解析从长文档推进到不限长度。此前的 OCR 模型在超长序列上做文本与视觉的注意力交互,计算量随长度增长;新版本用稀疏参考滑动窗口注意力(SR-SWA),把这类交互压缩到固定大小的一组工作参考上,例如 512 个 token,从而给计算复杂度设上限。发布同时给出面向超长文档解析的新基准 MarathonDocBench,模型已接入 Transformers、vLLM、SGLang 等推理路径。

AI-generated editorial illustration: baidu/Unlimited-OCR-2 · Hugging Face

深度剖析

百度推出 Unlimited OCR 2,把文档解析的目标长度从长文档扩展到不限长度,并称其为 OCR-3.0 时代的开端。 上一代 Unlimited-OCR 的定位是在 Deepseek-OCR 的基础上再推进一步,此次发布把范围明确写成从长程解析走向不限长度解析。 发布说明把不限长度解析与 SR-SWA 直接绑定,并同时放出面向超长文档解析的基准 MarathonDocBench。

新版本的核心改动是稀疏参考滑动窗口注意力,它让文本与视觉之间的注意力只在一组固定大小的工作参考上发生。 常规做法是让超长序列中的文本与视觉 token 两两交互,交互量随序列变长而增长;SR-SWA 把这类交互压缩到固定大小的参考集合。 发布说明给出的参考规模示例是 512 个 token,并称由此为计算复杂度设定了上界。

启示与展望

发布说明面向需要解析超长文档的研究人员与工程团队,给出的支持范围是 SR-SWA 把文本视觉交互压缩到固定大小参考集合,并配套发布 MarathonDocBench 这一超长文档解析基准。

发布说明称 SR-SWA 为计算复杂度设定了上界,但给出的参考规模只是 512 个 token 这一示例,未说明该设置在不同文档长度下的表现。