RAGenome以检索式基因组语言模型把上下文扩展到13,312个核苷酸,基因查找MCC从0.45提升到0.60
作者提出RAGenome,首个基于检索的基因组语言模型:它从100种脊椎动物全基因组比对中检索同源序列,丢弃占73%的空位标记,把预训练上下文扩展到13,312个核苷酸,比现有基于MSA的gLM长100倍;在基因查找任务上MCC由GPN-Star的0.45升至0.60,在致病变异优先级任务上AUROC为0.87,以168M参数和16,032 GPU小时同时兼顾长程与演化信号。
作者提出RAGenome,首个基于检索的基因组语言模型:它从100种脊椎动物全基因组比对中检索同源序列,丢弃占73%的空位标记,把预训练上下文扩展到13,312个核苷酸,比现有基于MSA的gLM长100倍;在基因查找任务上MCC由GPN-Star的0.45升至0.60,在致病变异优先级任务上AUROC为0.87,以168M参数和16,032 GPU小时同时兼顾长程与演化信号。
已读完全部报道