字节顺序不只影响长度：UBE 把一符号前瞻的字素边界平衡错误从 8.76% 降到 0.06%
核心概要
字节级语言模型用学到的边界预测器把字节切成片段，而预测器在有限前瞻下能看到什么，取决于文本编码。UTF-8 中许多文字的一个码点占三字节，首字节只携带 4 个高位码点比特，因此同一左文后“延续字素簇的附标”和“开启下一字素的字母”可能共享首字节。在匹配的 FineWeb-2 文本上训练小型因果预测器、在 FLORES-200 的 17 种语言上评估，一符号前瞻下字素边界的平衡错误在 UTF-8 为 8.76%，在 UBE 为 0.06%；同长度的 UBE-BE 为 8.62%，说明增益来自字节顺序而非流长度。
深度剖析
字节级语言模型的边界预测器在有限前瞻下能否区分“延续当前字素簇”与“开启下一字素”，取决于编码把哪些码点比特放在第一个符号里。 UTF-8 下三字节码点的首字节只含 4 个高位码点比特，同一左文之后，延续字素簇的附标与开启新字素的字母可以共享首字节，使所需决策无法区分。 在 17 种语言、13 种婆罗米系文字的面板上，一符号前瞻的字素边界平衡错误为 UTF-8 8.76%、UBE 0.06%；保持 UBE 流长度的 UBE-BE 为 8.62%，与 UTF-8 接近。
UBE 保留一字节和二字节 UTF-8 编码，把更长的码点写成两个 UTF-16LE 字节，低字节在前，于是首符号携带 8 个低位码点比特。 在已知的 256 码点页内，这个低字节即可标识码点，使附标与字母的区分在一符号前瞻下可见；不同页的码点仍可能共享低字节。 在左文相同、后继码点同页但要求相反决策的 17,204 对构造样本上，训练出的 UBE 预测器在每个种子下全部答对，而 UTF-8 与 UBE-BE 因首符号相同无法做到。
在保留父分词器子词切分的任务上，UBE 同样降低错误，且增益集中在单符号前瞻。 韩语和中文的每个评估字素簇都是单码点，字素边界本身对三种编码都可见，因此这里的差别落在子词边界的选择上。 一符号前瞻下，UBE 相对 UTF-8 把每千码点错误从 54.44 降到 14.75（韩语，降 72.91%），从 159.95 降到 103.50（中文，降 35.29%）；另八种文字降 67.32%–99.55%，其中主 Unicode 区块落在单页的七种里 UBE-BE 与 UTF-8 相差不超过 3.0%。
启示与展望
已演示的范围是：在匹配的 FineWeb-2 文本上训练的小型因果预测器，在 FLORES-200 devtest 的 17 语言面板上评估，另加韩语、中文与八种文字的保留父切分扩展；已发布模型的分析覆盖两个父模型家族和一类转换配方。
一符号保证只覆盖同一 Unicode 页内的后继码点，跨页仍会碰撞，例如 U+200D 与 U+090D 共享低字节 0D；文本曝光在编码间匹配但计算量不匹配，UBE-BE 还改变了整个编码历史；已发布模型在架构、规模、数据和训练历史上都不同，比较不能单独分离字节级建模的作用。