# 输入嵌入表

该研究检验解码器语言模型是否必须为每个词元保留独立可训练输入向量：以V=65,536、d_model=1024为例，用固定16位二进制词元码加无参数平铺升维替换常规V×d_model输入表，移除67.1M可训练参数（约为未绑定学习输入基线的12.5%），三个训练种子下32层模型在约16-17B token上平均留出困惑度为学习输入基线2.44、规范二进制码2.36、仿射重编码2.39，作者说明这些描述性结果不构成统计优越性或等价性结论。

该研究检验解码器语言模型是否必须为每个词元保留独立可训练输入向量：以V=65,536、d_model=1024为例，用固定16位二进制词元码加无参数平铺升维替换常规V×d_model输入表，移除67.1M可训练参数（约为未绑定学习输入基线的12.5%），三个训练种子下32层模型在约16-17B token上平均留出困惑度为学习输入基线2.44、规范二进制码2.36、仿射重编码2.39，作者说明这些描述性结果不构成统计优越性或等价性结论。