# 基因组语言模型

艾伦脑科学研究所与AWS团队发布单细胞多模态模型Bloom，它把基因表达与染色质开放度统一编码为同一种细胞表征，训练细胞数比同类预训练模型少约100倍。在成年小鼠全脑数据上，基于Bloom表征的线性分类器对亚类判别的交叉验证调整平衡准确率为91%（多组学，315个亚类）、94%（scRNA-seq，310个亚类）和94%（snRNA-seq，297个亚类），且模型只见过小鼠多组学数据。

艾伦脑科学研究所与AWS团队发布单细胞多模态模型Bloom，它把基因表达与染色质开放度统一编码为同一种细胞表征，训练细胞数比同类预训练模型少约100倍。在成年小鼠全脑数据上，基于Bloom表征的线性分类器对亚类判别的交叉验证调整平衡准确率为91%（多组学，315个亚类）、94%（scRNA-seq，310个亚类）和94%（snRNA-seq，297个亚类），且模型只见过小鼠多组学数据。

作者提出RAGenome，首个基于检索的基因组语言模型：它从100种脊椎动物全基因组比对中检索同源序列，丢弃占73%的空位标记，把预训练上下文扩展到13,312个核苷酸，比现有基于MSA的gLM长100倍；在基因查找任务上MCC由GPN-Star的0.45升至0.60，在致病变异优先级任务上AUROC为0.87，以168M参数和16,032 GPU小时同时兼顾长程与演化信号。

作者提出RAGenome，首个基于检索的基因组语言模型：它从100种脊椎动物全基因组比对中检索同源序列，丢弃占73%的空位标记，把预训练上下文扩展到13,312个核苷酸，比现有基于MSA的gLM长100倍；在基因查找任务上MCC由GPN-Star的0.45升至0.60，在致病变异优先级任务上AUROC为0.87，以168M参数和16,032 GPU小时同时兼顾长程与演化信号。

该研究在五个生物与人工序列的二分类任务上刻画了核苷酸级基础基因组语言模型 Evo 2 的上下文学习工作区间，发现短自然序列上表现稳健（miRNA 的 F1=0.902，毒素为 0.785），随序列长度增加而退化并在千碱基尺度崩溃，模型规模扩大无收益（7B 系统性优于 40B），困惑度难以预测准确率，并通过 logit-lens 与 Jacobian Scope 的机制可解释性分析提示存在预测—泛化权衡、模型可能追踪提示结构而非承载信号的序列内容。

该研究在五个生物与人工序列的二分类任务上刻画了核苷酸级基础基因组语言模型 Evo 2 的上下文学习工作区间，发现短自然序列上表现稳健（miRNA 的 F1=0.902，毒素为 0.785），随序列长度增加而退化并在千碱基尺度崩溃，模型规模扩大无收益（7B 系统性优于 40B），困惑度难以预测准确率，并通过 logit-lens 与 Jacobian Scope 的机制可解释性分析提示存在预测—泛化权衡、模型可能追踪提示结构而非承载信号的序列内容。