跳到主要内容
返回时间线
bioRxiv来源发表:

纳米孔原始电流信号有了可迁移表征:Brieno 用离散词元预训练,少标注也能读出甲基化

核心概要

纳米孔测序的原始电流信号连续、没有天然词元,此前多按任务各建专用模型。Brieno 先用残差向量量化把信号压成离散词元,再以掩码词元预测在 1.18 亿条读段上预训练 Transformer,冻结或微调特征即可用于物种识别、条码拆分、碱基识别和甲基化检测。在留出运行上,微调 Brieno 的 CpG 5mC 读段级 AUROC 为 0.978,高于 Dorado 专用 5mCG 模型的 0.975。

Source-provided article image: Towards a foundation model for raw nanopore signal through discrete tokenization
Figure 1 · bioRxiv · 第 3 页

深度剖析

原始纳米孔电流信号现在可以像语音那样先离散化、再做自监督预训练,得到的表征能跨任务复用,而不必为每个任务单独训练模型。 此前修饰识别、条码拆分和物种分类各自依赖专用模型或参考序列比对,同一类原始信号上学到的表征很少跨任务共享。 在 ZymoBIOMICS 模拟群落的两个留出运行上,微调 Brieno 的读段级物种分类准确率为 0.9887 和 0.9965,冻结表征为 0.9728 和 0.9916,均高于参考比对方法 RawHash2 的 0.9564 和 0.9891。

做法分两步:先把电流信号变成有限词表里的离散词元,再让 Transformer 学会在上下文里补出被遮住的词元。 残差向量量化是一种把连续向量逐级减去最近码字、用多层码本逼近原向量的离散化方法,这里每 8 个采样点一帧、每帧取 4 个词元。 预训练语料为 16 个公开数据集、1.18 亿条读段,来自 ONT R9.4.1 芯片,覆盖细菌、真菌、植物、人、合成寡核苷酸和两个模拟群落,跨三种测序平台与五种建库试剂盒。

预训练本身带来可测量的增益,而不只是换了架构。 与相同架构但随机初始化的 Transformer 相比,预训练模型在甲基化检测上更高。 在相同训练数据和优化步数下,微调 Brieno 的甲基化检测 AUROC 为 0.978,随机初始化对照为 0.921。

启示与展望

演示范围限于 ONT R9.4.1 芯片的公开读段,评测覆盖物种分类、条码拆分、碱基识别和 5mC、6mA 检测四类任务,均在留出运行或留出流式芯片上进行;R10.4.1 数据只做了物种分类的初步适配评估。

碱基识别上微调 Brieno 只是接近 Dorado 超精度模型,在 lambda 上为 0.9546 对 0.9557,在 E. coli 上为 0.9446 对 0.9456,在 K. pneumoniae 和 C. reinhardtii 上差距更大;条码拆分中 Brieno 的优势在于覆盖率而非单条精度,覆盖率对齐后 Dorado 在其判读的读段上更准,为 0.9997 对 0.9982;未见物种检测的整体 AUROC 为 0.72,各种之间从 S. enterica 的 0.54 到 C. neoformans 的 0.88 不等;6mA 跨物种迁移只在 GATC 序列语境中得到验证。