跳到主要内容
返回时间线
arXiv来源发表:

7.3M参数的TabOmics把全部特征一次读完:46个高维组学任务上平均AUROC达0.943,单成员与30倍参数模型持平

核心概要

TabOmics是一个仅7.3M参数、只用合成表格预训练的开放表格基础模型,推理时把预处理后保留的全部特征一次性联合处理,不需要按特征抽样或压缩。在三个高维小样本基准共46个分类任务上,八成员集成的TabOmics v2.5取得0.943的平均AUROC,高于八成员TabPFN-3.5的0.942;单成员版本为0.941,与后者无显著配对差异,但单次前向的耗时约为其五倍。

Source-provided article image: TabOmics: A Small, Open Tabular Foundation Model for Wide Omics Data
arXiv

深度剖析

高维组学表格的预测不再需要先削减特征空间:一个7.3M参数的模型可以在一次前向中同时读入预处理后保留的全部特征,并直接给出测试样本的类别。 此前的表格基础模型在极宽表格上受计算与泛化限制,常见做法是特征抽样、分组、内部分块或压缩成稠密行表示,TabPFN-3.5每个集成成员只处理至多768个特征。 在46个高维小样本分类任务上,八成员TabOmics v2.5的平均AUROC为0.943,在46个任务中的32个上优于八成员TabPFN-3.5(中位差+0.0011),而后者参数量约为其30倍。

模型把表格的每个单元格编码成一个词元,先在同一行内让特征之间互相注意,再在同一列内只让测试行注意训练行,因此测试行之间互不影响。 这一结构沿用nanoTabPFN对TabPFNv2的轻量重实现,并加入缺失值指示、随机列嵌入和标签列中的测试行标记。 预训练只用合成表格,先训练窄表,再以0.3的概率把批次加宽到最多3,350个特征,最后以更低学习率收尾;v2.5共307.5k优化步、2.46M张合成表,约2.4个A100 GPU日。

同一次前向还给出由注意力导出的特征重要性分数和样本嵌入,基因排序与嵌入分类可直接用于下游分析。 此前的扰动式归因方法在数千特征上需要反复调用模型,TabPFN-Wide则把注意力在训练行与测试行上一起平均。 在特征数从200增至30,000的合成表上,特征恢复AUROC保持在0.826至0.859,与TabPFN-Wide在各宽度上均无显著差异;在八个mRNA任务上,嵌入经逻辑回归的平均AUROC为0.967,直接预测为0.972。

启示与展望

评估范围是高维小样本表格:46个任务来自HDLSS、MLOmics和Shamir三个基准,预测的是肿瘤亚型或组织类型,而非生存、疾病进展或治疗反应等临床结局。模型面向分类,最多支持10个类别;架构也支持回归与微调,但没有发布回归模型,微调未做评估。

注意力权重不一定是预测的忠实解释,分数应读作特征重要性而非因果或机制重要性;乳腺癌任务中PAM50基因的高排名反映的是与标签定义所用基因的一致,不构成独立的生物学验证,排名靠前的基因也未做实验验证。性能提升究竟来自TabICLv2先验还是特征加宽流程尚未通过等算力对照分离,且46个任务并非46个独立队列。