大语言模型读得懂元素、读不懂原子排布：材料性质预测上，几何模型仍隔着一道墙

大语言模型在同时含坐标与类别的数据上，对坐标信息的利用明显弱于对类别信息的利用。 此前已有研究把大语言模型用于化学与材料的性质预测并报告了乐观结果，但这类结果与已知的失败模式难以调和。 在坐标贡献可连续调节的合成数据上，语言模型的坐标贡献损失始终大于类别贡献损失，这一落差在不同坐标构型与类别分布的数据集上一致出现。

模型把注意力放在元素种类这类类别线索上，而不是原子在空间中的相对位置。 图模型基于COGN的坐标贡献与类别贡献呈相反斜率，描述符模型MODNet接近零，两者都没有这种偏向。 在全部数据集上，n-gram模型的行为与只给类别或同时给类别与坐标的大语言模型高度接近，注意力分析也显示预测时没有用到坐标信息。

在真实材料性质预测中，增加文本中的几何信息并不必然提升表现，扩大规模也补不上与几何架构的差距。 此前缩放模型与数据被视为提升性能的通用手段，并被写进经验缩放规律。 在超过2000次语言模型训练任务、五折交叉验证下，数据缩放带来的均方根误差变化小于20%，模型缩放对剪切模量与体模量同样有限，MatBench榜单上语言模型类方法始终处于误差最高的一端。

报告覆盖剪切模量、体模量与钙钛矿形成能三个性质，来自一组有限的基准数据集，可能不代表材料性质预测任务的全部多样性。评估的架构限于编码器式的BERT与解码器式的Llama-2，未涉及把文本与显式坐标嵌入融合的多模态模型，也未涉及把几何先验写进分词方案的架构。缩放研究止于700亿参数并使用参数高效微调。

全量微调或在富含坐标的语料上从头预训练是否会改变观察到的缩放行为，仍是未解问题。把坐标—类别落差框架用到分子性质预测与生物序列—结构任务，才能检验这一落差是否超出晶体材料。坐标感知的分词方案与激活修补这类因果干预，被提出用于判断限制来自Transformer架构本身还是其文本接口。