Speciesformer:跨物种生成式虚拟细胞建模的保守细胞状态学习
该研究提出 Speciesformer,一个在 SpeciesCorpus(约1.31亿细胞、11个物种、154种组织、923种以上细胞类型)上预训练的跨物种生成式单细胞基础模型,通过进化信息引导的宏基因词汇表将物种特异基因映射到共享基因空间,其编码器学习可迁移的细胞与基因表征,其统一生成式解码器支持细胞状态与生物文本描述的双向生成以及从初始细胞状态和干预描述预测扰动后转录组,并在多项基准上报告了优于现有基线的表现。
2 篇关联报道
该研究提出 Speciesformer,一个在 SpeciesCorpus(约1.31亿细胞、11个物种、154种组织、923种以上细胞类型)上预训练的跨物种生成式单细胞基础模型,通过进化信息引导的宏基因词汇表将物种特异基因映射到共享基因空间,其编码器学习可迁移的细胞与基因表征,其统一生成式解码器支持细胞状态与生物文本描述的双向生成以及从初始细胞状态和干预描述预测扰动后转录组,并在多项基准上报告了优于现有基线的表现。
这篇综述系统梳理了面向语言模型的混合精度量化框架(MXPLMs),先回顾量化基础(均匀与非均匀量化器、量化粒度、训练后量化方法),再按比特分配策略以及权重、激活与键值缓存的精度配置对近期框架进行分类比较,并对比早期深度神经网络混合精度方法,指出可迁移的策略与在语言模型场景中面临挑战的策略,最后总结硬件感知设计、激活量化与十亿参数级模型可扩展优化等开放问题。
已读完全部报道