Kevin Maik Jablonka

在坐标—类别数据上，语言模型能学会“有哪些元素”，却学不会“原子怎么排布”。用可调坐标与类别权重的合成数据、以及覆盖多种文本表示与规模的MatText基准，坐标主导任务的误差始终高于类别主导任务，形成坐标—类别悬崖；把数据扩到约两百万结构、模型扩到七百亿参数也未能消除，而图神经网络等几何架构在结构主导的性质上稳定领先。

在坐标—类别数据上，语言模型能学会“有哪些元素”，却学不会“原子怎么排布”。用可调坐标与类别权重的合成数据、以及覆盖多种文本表示与规模的MatText基准，坐标主导任务的误差始终高于类别主导任务，形成坐标—类别悬崖；把数据扩到约两百万结构、模型扩到七百亿参数也未能消除，而图神经网络等几何架构在结构主导的性质上稳定领先。