旁遮普邦20万页议会档案不再被OCR噪声卡住：智能体检索循环把答案F1从约0.18提到约0.35
核心概要
印度旁遮普邦议会1950至2024年的约20万页档案以印地语、旁遮普语和英语混排扫描件保存，版面破碎与OCR错误会一路传到检索和问答。该系统把版面分割、多文字OCR与智能体检索增强生成串成一条流水线，由评估模型判断检索到的证据是否够用，不够就改写查询再检索。在1000页、200条人工标注问答的分层评测集上，优化流水线的MRR@1为0.810、Hit@3为0.925；把检索—改写迭代上限从1提到3，答案F1从约0.18升到约0.35。
深度剖析
历史议会档案的检索不再把OCR当作一次性预处理，而是让检索环节在证据不足时回头改写查询。 此前的做法把版面分析与OCR当作独立前置步骤，识别错误随后直接传入检索与问答。 在覆盖不同年代、文字和文档类型的1000页、200条人工标注问答评测集上，优化流水线的MRR@1为0.810、Hit@3为0.925、Hit@5为0.955，标准BGE-M3对应为0.775、0.900、0.940。
系统在生成答案前先判断检索到的上下文是否足以回答，不足则改写查询重新检索。 这套智能体循环以信息增益阈值判断上下文充分性，充分时直接生成，不充分时触发查询改写。 在固定的200条查询评测集上，把检索—改写迭代上限从1提高到3，MRR@1从约0.89升到约0.97，Precision@3从约0.33升到约0.37，答案F1从约0.18升到约0.35。
版面模型的质量直接决定后续抽取文本的质量，同一识别器下换版面模型差距明显。 CRAFT版面模型配合同一个CRNN识别器时，字符识别率为89.00%、词识别率为60.35%。 在20页人工转写、覆盖不同退化程度的子集上，微调YOLO配CRNN达到95.67%字符识别率和80.03%词识别率；Google OCR与Surya OCR的识别分数更高，而该流水线完全本地运行。
启示与展望
演示范围是旁遮普邦议会1950至2024年约20万页档案上的跨语言问答，评测使用1000页、200条人工标注问答的分层基准，OCR对照另用20页人工转写子集；作者提出的下一步是改进OCR鲁棒性、降低推理延迟并保留复杂表格结构。
退化页面上的严重OCR错误仍会影响稠密检索与实体匹配；迭代智能体循环与基于大模型的充分性检查比标准检索增加推理延迟；复杂财务表格与非结构化表格数据在文本切块时可能丢失层级结构。