# 字节化

字节级语言模型用学到的边界预测器把字节切成片段，而预测器在有限前瞻下能看到什么，取决于文本编码。UTF-8 中许多文字的一个码点占三字节，首字节只携带 4 个高位码点比特，因此同一左文后“延续字素簇的附标”和“开启下一字素的字母”可能共享首字节。在匹配的 FineWeb-2 文本上训练小型因果预测器、在 FLORES-200 的 17 种语言上评估，一符号前瞻下字素边界的平衡错误在 UTF-8 为 8.76%，在 UBE 为 0.06%；同长度的 UBE-BE 为 8.62%，说明增益来自字节顺序而非流长度。

字节级语言模型用学到的边界预测器把字节切成片段，而预测器在有限前瞻下能看到什么，取决于文本编码。UTF-8 中许多文字的一个码点占三字节，首字节只携带 4 个高位码点比特，因此同一左文后“延续字素簇的附标”和“开启下一字素的字母”可能共享首字节。在匹配的 FineWeb-2 文本上训练小型因果预测器、在 FLORES-200 的 17 种语言上评估，一符号前瞻下字素边界的平衡错误在 UTF-8 为 8.76%，在 UBE 为 0.06%；同长度的 UBE-BE 为 8.62%，说明增益来自字节顺序而非流长度。

Minixhofer 等人在《Nature》报告了一种名为 byteification 的方法，可将基于 token 的大语言模型改造为在字节层面运行；作者表明，经此改造的模型在保持竞争力的性能的同时，仍能读取单词中的单个字符，从而处理诸如统计“strawberry”中字母“r”出现次数这类任务。

Minixhofer 等人在《Nature》报告了一种名为 byteification 的方法，可将基于 token 的大语言模型改造为在字节层面运行；作者表明，经此改造的模型在保持竞争力的性能的同时，仍能读取单词中的单个字符，从而处理诸如统计“strawberry”中字母“r”出现次数这类任务。