RAGenome以检索式基因组语言模型把上下文扩展到13,312个核苷酸，基因查找MCC从0.45提升到0.60
作者提出RAGenome，首个基于检索的基因组语言模型：它从100种脊椎动物全基因组比对中检索同源序列，丢弃占73%的空位标记，把预训练上下文扩展到13,312个核苷酸，比现有基于MSA的gLM长100倍；在基因查找任务上MCC由GPN-Star的0.45升至0.60，在致病变异优先级任务上AUROC为0.87，以168M参数和16,032 GPU小时同时兼顾长程与演化信号。
作者提出RAGenome，首个基于检索的基因组语言模型：它从100种脊椎动物全基因组比对中检索同源序列，丢弃占73%的空位标记，把预训练上下文扩展到13,312个核苷酸，比现有基于MSA的gLM长100倍；在基因查找任务上MCC由GPN-Star的0.45升至0.60，在致病变异优先级任务上AUROC为0.87，以168M参数和16,032 GPU小时同时兼顾长程与演化信号。
已读完全部报道