跳到主要内容
返回时间线
arXiv来源发表:

人眯眼能读的字,多模态模型却说没有:训练后原图直读从26.50升到88.61

导语

多模态大模型常把藏在图像粗结构里的文字读成“图中无文字”,而人眯眼就能认出;一种只用原图推理的训练方法把这类文字的读取分数从26.50提高到88.61。

Source-provided article image: When MLLMs miss what humans read: diagnosing and learning to read squint text
Figure 1 · arXiv

正文

多模态大模型会把嵌在图像粗结构里的文字读成“图中没有文字”,而人把图缩小或眯眼就能认出这串字。 这类失败此前没有被单独命名和研究,它出现在内容审核流水线的真实流量里,域名、联系方式和口号被画进图像的粗结构,人看得见,审核模型却报告无文字。 四个商用与开源多模态模型在原尺寸的1076张生产审核图上只拿到8.3到24.4的ANLS,说明这不是某一个检查点的问题。

冻结权重下的探针显示,隐藏文字在视觉编码器里留下了很强的存在信号,但具体是哪个字只被很弱地表示。 此前只知道缩小或低通滤波能让这类文字变得可读,但不知道是变换的哪个性质在起作用。 在500对只差“有没有嵌入字符串”的合成图上,文字存在性的AUC达到0.956到0.981,而单字身份的AUC只有0.718(中文)和0.612(拉丁字母);把探针限制在字形所在位置后,中文升到0.799,说明空间选择是主要瓶颈。

训练时让一个冻结的教师模型同时看到缩小视图和正确转写,用它每一步的token概率分布去监督只看原图的学生。 此前要么在推理时额外喂一张缩小图,要么用硬标签做监督;前者推理时多一张图,后者丢掉了候选字之间的相对概率。 在1076张生产审核图上,该方法达到88.61 ANLS,而基础模型为26.50,只在推理时附加缩小视图为58.96,单视图SFT为72.47,DAPO为73.55。

训练后字形表示变得更能区分,读取行为在因果上依赖字形所在的视觉区域。 训练前字形身份在编码器里只是弱信号,读取也不集中在字形位置。 中文单字身份AUC从0.718升到0.975,拉丁字母从0.612升到0.779;把字形位置的视觉token嵌入替换成非字形token的均值后,准确率从90.5%降到71.5%,而替换同样数量的随机背景token只从90.5%变到91.0%。

接下来

这套方法面向需要在推理时只输入原图、又要读出图像粗结构中文字的视觉审核场景,评测覆盖1076张生产来源审核图以及可控合成诊断集。诊断把空间选择和图像高频干扰列为主要原因,视觉token数量可能也有影响,但两者尚未完全分离。训练能重组部分可恢复的证据,在条件强度0.5、笔画基本被破坏时,基础模型与训练后模型在统计上无法区分。

高频干扰与视觉token数量两个因素没有被完全分离,token数量的作用只是可能。训练后的模型在通用基准上出现随任务而变的下降,AI2D从86.66变为85.33,DocVQA从95.93变为92.98,OCRBench从879变为833。方法目前依赖输入中仍可恢复的视觉证据,以及固定的特权监督设置。

来源