跳到主要内容
返回时间线
researchsquare.com来源发表:

曼尼普尔文手写识别不再逐字切分:整词读入,合成测试词错误率1.57%

核心概要

曼尼普尔文(Meitei Mayek)手写识别此前只做单字分类,而最常见的混淆恰恰取决于字符在词中的位置。研究者用孤立字符库合成整词训练数据,配合卷积编码器、双向LSTM与CTC直接读整词图像,在5000个合成测试词上取得0.24%的字符错误率和1.57%的词错误率;在一位母语书写者用平板写的100个未见真实词上,字符错误率为2.96%、词错误率为16.0%。

Source-provided article image: Beyond isolated characters: the first segmentation-free recogniser of handwritten Meitei Mayek words
researchsquare.com

深度剖析

手写曼尼普尔文现在可以按整词识别,不再需要先把词切成单个字符再分类。 此前该文字的手写识别研究集中在孤立字符上,最好的单字结果是在TUMMHCD官方测试集上由六个卷积网络集成达到的98.12%准确率,而整词或整行的端到端识别尚无公开工作。 在5000个合成测试词上,整词识别器配合字符语言模型得到0.24%的字符错误率和1.57%的词错误率(两个随机种子的平均);同一批字符若按完美切分框从词中裁出、交给该集成分类器并加上完美区域约束和同一语言模型,字符错误率为4.26%、词错误率为20.98%。

训练数据来自孤立字符图像的重新排版,而不是转录过的手写词图像。 TUMMHCD的85124张字符图像统一为24×24像素并把墨迹缩放到填满画框,字符的大小、长宽比和词内位置都已丢失,且数据集不含书写者信息。 合成时从Noto Sans Meetei Mayek字体取位置,用笔画粗细反推字符尺寸,并按六份已发表手写样本测得的字间距(相邻字母33.5%相接,其余相距0.097 L)设定间距;合成词中相邻字母相接比例为32.4%,可见间隙为0.059 L。

识别器把整词图像当作一条从左到右的序列来读,不需要字符边界标注。 模型由ConvNeXt-T编码器、双向LSTM和CTC组成,编码器用TUMMHCD单字网络初始化,解码时叠加字符6-gram语言模型。 编码器只保留ConvNeXt-T的前三个阶段并把第三阶段下采样改为只压缩高度,使一个词变成4行、每8像素一列的特征;在100个真实手写词上,最终方案配合语言模型的字符错误率为2.96%、词错误率为16.0%,其中119个字符错误里有118个涉及印刷时置于字母上方的三个符号。

启示与展望

已展示的范围是:合成词上的评测,以及一位母语书写者用平板、以数字墨水写下的100个与训练文本不相交的真实词;代码、模型、真实词集和浏览器演示均已公开。

真实词集只覆盖一位书写者、一台设备和100个词,上方符号的位置也只在这一种笔迹上测量,其他书写者是否同样放置尚不清楚;合成测试结果属于同分布评测,本身对真实手写的说明有限;TUMMHCD没有书写者身份,合成词会在词内混合不同书写者,任何合成划分都无法做到按书写者分离。