跳到主要内容
返回时间线
arXiv来源发表:

奥斯曼诗歌的格律不再靠学者转写:现代土耳其语拼写下,整行完全正确的比例从26.8%升到77.6%

核心概要

奥斯曼迪万诗歌按“阿鲁兹”格律写作,每个音节分长短,而现代土耳其语拼写丢掉了标记长元音的符号,使长短只能从上下文推断。一个基于格子的隐马尔可夫模型把每个词的候选学术拼写、连读与长读选择铺成路径,用诗作印刷格律经EM训练,在留出诗人上整行完全正确率为77.6%,同一批500行上规则扫描器为26.8%、同监督训练的神经标注器为55.0%、Claude Opus 5.5少样本为63.6%。代码已开源,工具以网页形式发布。

Source-provided article image: A Lattice-Based HMM Approach to Aruz Scansion of Ottoman Poetry
arXiv

深度剖析

奥斯曼迪万诗歌的自动格律识别与音节对齐,现在可以直接从普通现代土耳其语拼写出发,不再要求输入带长音符和附加符号的学术转写。 此前唯一已知的奥斯曼诗歌扫描器是Kurt与Kara的确定性规则算法,它直接从学术版本的字母读出音节长短,无法用于现代拼写;即使输入学术文本,版本漏标的长音符也会被当成格律瑕疵而不是被纠正。 在按诗人划分的留出测试集上,该模型整行完全正确率为77.6%,同一批500行上规则扫描器为26.8%,用同样监督训练的神经标注器为55.0%,Claude Opus 5.5少样本为63.6%。

模型把拼写还原、连读与长读选择、格律位置放在同一次搜索里决定,而不是先固定其中一项再处理其余。 格律瑕疵取决于前后音节和整首诗的格律,而单行常能套进不止一种格律,因此逐音节判断无法定案;把任一项先固定下来的系统表现更差。 去掉隐马尔可夫模型、改用同一格子上候选的最少瑕疵规则,整行正确率下降44.2个百分点;去掉还原器的候选概率下降49.2个百分点;去掉标记“无长读”和“无连读”的两个标签下降42.4个百分点。若直接给模型学术转写文本,整行正确率为90.6%。

启示与展望

演示范围是十三部批评版构成的52,000行语料,按诗人划分训练、开发与测试,评测落在500行人工确认的扫描标注上;格律清单覆盖十四种格律,1,731首测试诗中有124首不在清单内、未计分。工具同时接受普通现代拼写和保留附加符号的学术转写两种输入,代码与数据流程已开源。

扫描标注由三个大模型在书面指南下集成产生,逐音节一致性高而整行一致性为66–79%,其中200行经人工复核;作者指出更广的多专家人工标注测试集会有助于进一步误差分析。鲁棒性基准是按网络与OCR副本上测得的偏差率生成的,而非真实副本本身,且所有模型在偏差率加倍之前性能就已下降到不适合实际使用的水平。