# 跨模态迁移

艾伦脑科学研究所与AWS团队发布单细胞多模态模型Bloom，它把基因表达与染色质开放度统一编码为同一种细胞表征，训练细胞数比同类预训练模型少约100倍。在成年小鼠全脑数据上，基于Bloom表征的线性分类器对亚类判别的交叉验证调整平衡准确率为91%（多组学，315个亚类）、94%（scRNA-seq，310个亚类）和94%（snRNA-seq，297个亚类），且模型只见过小鼠多组学数据。

艾伦脑科学研究所与AWS团队发布单细胞多模态模型Bloom，它把基因表达与染色质开放度统一编码为同一种细胞表征，训练细胞数比同类预训练模型少约100倍。在成年小鼠全脑数据上，基于Bloom表征的线性分类器对亚类判别的交叉验证调整平衡准确率为91%（多组学，315个亚类）、94%（scRNA-seq，310个亚类）和94%（snRNA-seq，297个亚类），且模型只见过小鼠多组学数据。

脑电基础模型在冻结特征迁移上表现不稳，SeeEEG换了个思路：把脑电按临床浏览器的蒙太奇、滤波和对比度设置渲染成图像，只训练这套显示参数，视觉主干全程冻结。以冻结的DINOv3 ViT-B为编码器，SeeEEG在八个临床、睡眠、情感与脑机接口数据集的平衡准确率上全部超过七个脑电基础模型，按Cohen或AUROC排名的平均名次为1.3，最强基线REVE为2.9。

脑电基础模型在冻结特征迁移上表现不稳，SeeEEG换了个思路：把脑电按临床浏览器的蒙太奇、滤波和对比度设置渲染成图像，只训练这套显示参数，视觉主干全程冻结。以冻结的DINOv3 ViT-B为编码器，SeeEEG在八个临床、睡眠、情感与脑机接口数据集的平衡准确率上全部超过七个脑电基础模型，按Cohen或AUROC排名的平均名次为1.3，最强基线REVE为2.9。

在目标细胞系没有药物测量数据时，GRAFT把该细胞系的基因扰动响应与源细胞的药物响应联系起来，预测药物引起的转录变化。在五株LINCS癌细胞系留一交叉验证中，GRAFT-D0的Top20 Pearson相关均值为0.734，高于源均值0.493和最强对照PRnet的0.689；在五个外部细胞环境中，等权平均Top20相关为0.606，源均值为0.416。方法依赖目标基因响应相对源参考的差异构成的条件状态，当目标基因测量很少时预测仍可改善，但增益随数据质量与来源覆盖变化。

在目标细胞系没有药物测量数据时，GRAFT把该细胞系的基因扰动响应与源细胞的药物响应联系起来，预测药物引起的转录变化。在五株LINCS癌细胞系留一交叉验证中，GRAFT-D0的Top20 Pearson相关均值为0.734，高于源均值0.493和最强对照PRnet的0.689；在五个外部细胞环境中，等权平均Top20相关为0.606，源均值为0.416。方法依赖目标基因响应相对源参考的差异构成的条件状态，当目标基因测量很少时预测仍可改善，但增益随数据质量与来源覆盖变化。

一项覆盖文本、视觉、音频三种模态的混合专家预训练研究，用268次实验拟合出数据配比规律，并给出可操作的分配结论：音频更该把算力花在参数上，视觉和音频数据重复超过两遍收益很小，视觉对音频的干扰最强。

一项覆盖文本、视觉、音频三种模态的混合专家预训练研究，用268次实验拟合出数据配比规律，并给出可操作的分配结论：音频更该把算力花在参数上，视觉和音频数据重复超过两遍收益很小，视觉对音频的干扰最强。