# Transformer

GaussianRenderFormer把3D高斯泼溅的成像从手写光栅化器换成Transformer：每个高斯一个token，视角相关解码器按相机光线小块出像素。在26,820个Objaverse物体上训练后，300个未见物体上对完整泼溅渲染达38.08 dB PSNR，而直接光栅化同一份剪枝输入为44.02 dB；诊断指向视角解码器瓶颈，但训练不足未被排除。

GaussianRenderFormer把3D高斯泼溅的成像从手写光栅化器换成Transformer：每个高斯一个token，视角相关解码器按相机光线小块出像素。在26,820个Objaverse物体上训练后，300个未见物体上对完整泼溅渲染达38.08 dB PSNR，而直接光栅化同一份剪枝输入为44.02 dB；诊断指向视角解码器瓶颈，但训练不足未被排除。

有限元代理模型通常用位移误差训练和比较，但工程判断依赖应力。这项研究把监督损失的范数换成装配刚度矩阵下的能量范数，其余设置不变，在预注册比较中使三维变压器网络的中位von Mises误差降低6.1倍、二维平均误差减半以上，并在留出实例上复现；不留标签、只最小化能量的训练也接近这一精度。

有限元代理模型通常用位移误差训练和比较，但工程判断依赖应力。这项研究把监督损失的范数换成装配刚度矩阵下的能量范数，其余设置不变，在预注册比较中使三维变压器网络的中位von Mises误差降低6.1倍、二维平均误差减半以上，并在留出实例上复现；不留标签、只最小化能量的训练也接近这一精度。

近场超大规模MIMO通感一体系统的波束赋形通常要反复求解非凸约束优化，在线时延随阵列规模上升。PATBO把通信与感知波束方向按几何固定构造，只让Transformer预测各流的归一化功率，并用定位精度界（CRB）敏感度加权训练。在1024天线、4用户、2目标的保留测试集上，直接推理联合可行率为19.54%，经物理约束功率修复升到87.79%，再对剩余样本回退优化器后达到100%，单样本推理1.11毫秒。

近场超大规模MIMO通感一体系统的波束赋形通常要反复求解非凸约束优化，在线时延随阵列规模上升。PATBO把通信与感知波束方向按几何固定构造，只让Transformer预测各流的归一化功率，并用定位精度界（CRB）敏感度加权训练。在1024天线、4用户、2目标的保留测试集上，直接推理联合可行率为19.54%，经物理约束功率修复升到87.79%，再对剩余样本回退优化器后达到100%，单样本推理1.11毫秒。

一个单注意力层的小Transformer被训练来预测无限Coxeter群Ã₂中群元素的左、右下降集，也就是最短词可能的首字母与末字母集合。训练数据从随机词、约化词换到ShortLex正规形词后，测试准确率随结构增强而提高：随机词与约化词数据分别在某个长度处开始退化，而包含全部长度不超过36的1,998个ShortLex词的集合上未见退化。观察训练后模型的注意力图样，研究者提出并独立证明了关于右下降集与左下降集的两条词论命题。

一个单注意力层的小Transformer被训练来预测无限Coxeter群Ã₂中群元素的左、右下降集，也就是最短词可能的首字母与末字母集合。训练数据从随机词、约化词换到ShortLex正规形词后，测试准确率随结构增强而提高：随机词与约化词数据分别在某个长度处开始退化，而包含全部长度不超过36的1,998个ShortLex词的集合上未见退化。观察训练后模型的注意力图样，研究者提出并独立证明了关于右下降集与左下降集的两条词论命题。

临时组队的胜负往往在开打前就已有线索，但单个选手的评分无法说明他是否适合当前角色，也无法说明五个人的分工是否互补。研究把这两件事放进同一个深度学习模型：先用选手此前的对局记录判断他与当前英雄、位置的匹配程度，再把双方十名选手的阵容作为整体比较。在按全局时间顺序划分的验证集上，该模型赛前预测准确率为61.33%，高于所比较的TrueSkill、CatBoost、GRU和DraftRec。

临时组队的胜负往往在开打前就已有线索，但单个选手的评分无法说明他是否适合当前角色，也无法说明五个人的分工是否互补。研究把这两件事放进同一个深度学习模型：先用选手此前的对局记录判断他与当前英雄、位置的匹配程度，再把双方十名选手的阵容作为整体比较。在按全局时间顺序划分的验证集上，该模型赛前预测准确率为61.33%，高于所比较的TrueSkill、CatBoost、GRU和DraftRec。

结直肠癌术后是否复发，此前主要靠淋巴血管侵犯、神经侵犯、肿瘤出芽和Ki-67等常规病理指标判断。AlphaFISH把无需测序的纳米探针生物芯片与Transformer模型结合，在149例结直肠活检样本上同时读取41个宿主转录本和51个细菌属，并在术后一年随访的28例患者中以AUC 0.81预测复发或转移，而常规临床指标组合的AUC为0.45。该结果来自未经同行评审的预印本，样本规模有限。

结直肠癌术后是否复发，此前主要靠淋巴血管侵犯、神经侵犯、肿瘤出芽和Ki-67等常规病理指标判断。AlphaFISH把无需测序的纳米探针生物芯片与Transformer模型结合，在149例结直肠活检样本上同时读取41个宿主转录本和51个细菌属，并在术后一年随访的28例患者中以AUC 0.81预测复发或转移，而常规临床指标组合的AUC为0.45。该结果来自未经同行评审的预印本，样本规模有限。

密度泛函理论的核心变量是电子密度，而求得它通常要反复迭代到自洽。SwinUNETR-V2与无注意力版本NeXtUNETR这两类受Transformer启发的网络直接预测电子密度，在QM9上密度归一化平均绝对误差分别为0.075%和0.046%。对NeXtUNETR，用预测密度做一次Kohn-Sham步骤即可复现自洽电子结构，总能量中位误差0.036 meV、力0.65 meV/angstrom、HOMO-LUMO能隙1.8 meV。

密度泛函理论的核心变量是电子密度，而求得它通常要反复迭代到自洽。SwinUNETR-V2与无注意力版本NeXtUNETR这两类受Transformer启发的网络直接预测电子密度，在QM9上密度归一化平均绝对误差分别为0.075%和0.046%。对NeXtUNETR，用预测密度做一次Kohn-Sham步骤即可复现自洽电子结构，总能量中位误差0.036 meV、力0.65 meV/angstrom、HOMO-LUMO能隙1.8 meV。

一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟：先长期记忆，随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描，顿悟在多个规模上重现，中间存在一段随训练数据量改变结果的非单调区间；隐藏状态在泛化时逐渐对齐乘法特征结构，素数阶子群与训练中未见生成元的对照也保持成功泛化。

一个42.7万参数的两层Transformer在有限域离散对数映射上出现了顿悟：先长期记忆，随后在p=113上把留出测试准确率推到99.8%。研究进一步做了从9万到1440万参数的12个模型容量扫描，顿悟在多个规模上重现，中间存在一段随训练数据量改变结果的非单调区间；隐藏状态在泛化时逐渐对齐乘法特征结构，素数阶子群与训练中未见生成元的对照也保持成功泛化。