大模型读得懂元素却读不懂原子位置：材料性质预测上，几何模型始终压过语言模型
核心概要
在坐标—类别数据上，语言模型能学会“有哪些元素”，却学不会“原子怎么排布”。用可调坐标与类别权重的合成数据、以及覆盖多种文本表示与规模的MatText基准，坐标主导任务的误差始终高于类别主导任务，形成坐标—类别悬崖；把数据扩到约两百万结构、模型扩到七百亿参数也未能消除，而图神经网络等几何架构在结构主导的性质上稳定领先。
深度剖析
语言模型在同时含坐标与类别的数据上，对坐标信息的利用明显弱于对类别信息的利用，这一差距被称为坐标—类别悬崖。 此前材料性质预测长期依赖手工特征或图神经网络，近年研究者把大语言模型当作通用替代方案，并报告了令人鼓舞的结果。 在坐标与类别贡献可连续调节的合成数据集上，坐标主导一侧的误差始终高于类别主导一侧，且在不同坐标构型与类别分布的数据集上一致。
这一差距来自模型架构的归纳偏置，而不是任务本身固有的难度。 同一批数据换用不同架构后，误差随坐标权重的走向发生反转。 基于COGN的图模型在坐标主导任务上相对更轻松，描述符模型MODNet接近零即对两类信息敏感度均衡，语言模型则呈相反斜率。
把材料结构写成文本的表示方式、数据规模与模型规模，都不足以让语言模型补上坐标信息。 扩大规模通常被视为提升性能的可靠手段，在通用语言建模与化学领域都有此预期。 在MatText框架下，数据从三万扩到约两百万结构、模型从七十亿扩到七百亿参数，均方根误差变化大多小于百分之二十，且绝对性能仍远低于图神经网络方法。
启示与展望
结论建立在三种材料性质上：剪切模量、体模量与钙钛矿形成能，数据来自有限的基准数据集，未必覆盖材料性质预测任务的全部多样性。评估的Transformer限于编码器结构的BERT与解码器结构的Llama-2，未涉及把文本与显式坐标嵌入融合的多模态模型，也未涉及把几何先验写进分词方案的架构。规模研究止于七百亿参数且使用参数高效微调。
全量微调、或在富含坐标的语料上从零预训练，是否会改变观察到的规模行为，仍是未解问题。合成数据中的势函数是对真实相互作用的简化，坐标—类别差距能否推广到晶体材料之外的物理科学领域，需要进一步验证。