跳到主要内容
返回时间线
arXiv来源发表:

细胞世界模型的高相关分数被拆穿:GEARS全局皮尔逊0.977,扰动增量上只有0.076

核心概要

在Replogle K562的509个未见扰动上,GEARS预测转录组与观测的全局皮尔逊相关达0.977,但把对照基线减掉、只看扰动引起的增量后只剩0.076;对每个扰动都预测训练集平均增量的平凡基线反而达到0.267。这一差距源于全局相关被数千个不响应基因主导,因此增量空间评估被提为主要基准,并给出两种无需重训的事后校正与一个定位残差来源的检索上界。

AI-generated editorial illustration: The Delta Gap: Cellular World Models for Perturbation Response Prediction Are Far Harder Than Global Correlation Implies

深度剖析

细胞扰动响应模型的评估分数被不响应基因抬高:同一份预测在全局表达上接近完美,在扰动引起的表达变化上却接近无关。 此前这类模型几乎只用预测与观测转录组之间的全局皮尔逊相关来评判,而一次CRISPR扰动通常只改动数千个被测基因中的几十到几百个,其余基因与对照一致。 在Replogle K562筛选的509个未见单扰动、5000个基因上,GEARS的全局皮尔逊为0.977,增量皮尔逊为0.076;在Norman A549的107个留出条件上,全局0.877对应增量0.548。

一个完全忽略扰动身份的基线在增量空间里胜过深度模型,说明全局分数没有反映扰动特异性信息。 该基线对每个测试扰动都输出同一个训练集平均增量,不区分扰动是哪一种。 在Replogle上这个平凡基线取得增量皮尔逊0.267,是GEARS的0.076的3.5倍;按响应强度分层后,绝对表达相关在最响应的一档升到约0.98,而增量相关在各档都落在0.03到0.25之间。

两种不需要重新训练的事后校正能把预测的增量往真实增量方向拉,其中基于预测谱的近邻检索更有效。 校正只使用模型已有的输出:一种在对照细胞构建的共表达图上做带重启的随机游走,把一步增量沿共表达邻域扩散;另一种按预测增量的余弦相似度找最相近的训练扰动,再取它们真实增量的加权平均。 带重启随机游走在三个随机种子上把增量皮尔逊从0.076提到0.103,标准差0.004;k=50的近邻匹配达到0.211,前20差异表达基因上的增量皮尔逊为0.280,但两者都仍低于平凡基线的0.267。

残差主要卡在扰动表征的几何结构上,而不是输出解码器的容量;把增量对齐写进训练目标可以补回一部分。 用真实测试增量寻找近邻的oracle检索给出0.592的上界,它与用预测增量做近邻的0.211之间相差2.8倍,这段差距无法靠改进解码器填上。 在Replogle留出集上,增量对齐训练在权重3.0时把增量皮尔逊提到0.179,方向准确率0.680、基因召回1.52,均高于平凡基线的0.567和1.19;叠加近邻匹配后达到0.217,而全局皮尔逊仅从0.977降到0.966。

启示与展望

结论建立在Replogle K562敲除筛选的509个留出单扰动与Norman A549过表达筛选的107个留出条件上,每个条件只取30个细胞以适配8GB显存;深度模型一侧只评估了GEARS,PRiMeFlow、scDFM、OCOO-T等更新的模型未纳入。

作者指出全数据实验可能改变绝对数值,但降采样分析显示方法相对排序保持不变;增量差距在不同细胞类型与扰动类型间可能不同,且幅度校准只在差距较大的Replogle上带来增益,在Norman上反而略降增量皮尔逊。