小Transformer学无限Coxeter群语言：注意力图样先提示两条词论命题，再由人证明
核心概要
一个单注意力层的小Transformer被训练来预测无限Coxeter群Ã₂中群元素的左、右下降集，也就是最短词可能的首字母与末字母集合。训练数据从随机词、约化词换到ShortLex正规形词后，测试准确率随结构增强而提高：随机词与约化词数据分别在某个长度处开始退化，而包含全部长度不超过36的1,998个ShortLex词的集合上未见退化。观察训练后模型的注意力图样，研究者提出并独立证明了关于右下降集与左下降集的两条词论命题。
深度剖析
一个很小的Transformer可以在无限Coxeter群Ã₂上完成组合词论任务，预测一个群元素的左下降集和右下降集，即其最短代表词可能的首字母集合与末字母集合。 此前的机制可解释性工作多研究有限群上的固定运算，例如模加法和有限非阿贝尔群乘法，解本身已知；这里的学习目标是无限群中的正规形表达式。 在ShortLex数据上，左下降任务的测试子词中有相当比例未在训练中出现且长度不超过36，模型在这些未见子词上取得高准确率；另一次不同划分的运行和一次手工划分（含全部63个长度为某定值的词与随机更长词）也报告了未见子词上的高准确率。
模型学到的注意力图样被用来提出两条词论命题，随后由研究者不借助模型给出证明。 此前的机制可解释性研究通常用已知算法检验模型是否学到该算法；这里模型提示的两条结论并不能由已知的Brink–Howlett有限状态算法直接推出。 两条命题在ShortLex数据训练出的模型注意力图样（对应正文图2与图3）之后被表述并证明，证明写在附录中；作者称这些结论可能为专家所知，但未在文献中找到明确出处。
训练数据的结构程度与模型能否在长度上泛化相伴。 随机词数据允许相邻生成元重复，约化词数据要求相邻生成元不同，ShortLex数据只保留字典序最小的最短代表词。 测试准确率在随机词数据与约化词数据上分别从某个长度开始退化，而在包含全部长度不超过36的1,998个ShortLex词的集合上未出现退化；按索引统计的误分类率在随机词与约化词上随位置快速上升。
启示与展望
已展示的范围是一个Ã₂群上的小型单层注意力Transformer、三类合成词数据集以及左、右下降集预测任务；作者提出的下一步是把方法用于其他无限Coxeter群，并用更先进的机制可解释性工具提取和验证实现Brink–Howlett有限状态自动机的电路。
作者指出，两条命题很可能为专家所知，只是未找到明确文献引用；模型在随机词与约化词数据上按索引的误分类率快速上升，说明它没有学到可随长度泛化的算法；此外，模型提示的结论仍需人工证明，注意力图样本身不构成证明。