跳到主要内容
检索

Université Mohammed VI Polytechnique

3 篇关联报道

订阅更新
  1. bioRxiv

    单细胞扰动预测不再只追平均值:scDisentangle把每个细胞的身份留在反事实里

    单细胞扰动响应预测长期难以稳定超过简单均值基线,且群体平均指标看不出预测是否保留了源细胞身份。scDisentangle把细胞表达拆成已知属性嵌入与一串依次提取的残差因子,推理时只替换属性嵌入、保留细胞特异因子来生成反事实。在干扰素刺激、肝脏感染和未见过的组合遗传扰动基准上,它超过了各自对比的模型与均值基线,并在心肌炎队列中由外周血预测出供体特异的浸润心脏CD8+ T细胞状态。

  2. researchsquare.com

    异质图注意力不再只看路径两端:TAHAN把中间节点按类型分组,DBLP与IMDB分类均值领先

    异质图上的注意力聚合长期把节点类型当作静态标签,元路径聚合又容易忽略中间节点的语义贡献。TAHAN改为沿元路径前缀收集邻居,跨元路径与层级按节点类型合并,再用类型内注意力和类型间注意力两级融合。在DBLP与IMDB的节点分类上,它的Macro-F1与Micro-F1均值高于所列基线,IMDB两项提升经Holm校正后显著;ACM上则低于SeHGNN。

  3. arXiv

    TACO 优化器将 LLM 全参数微调的优化器状态内存压缩 174 倍,并在单张 80GB H100 上微调 30-32B 模型

    作者提出 TACO 优化器,在维度归一化的 1→1 算子范数下取二维权重矩阵每列最大幅值元素的符号作为精确最速下降方向,仅保留每列少量低精度梯度分量,在 OPT-13B 上把持久优化器状态相对 AdamW8bit 减少 174 倍(27.7 GB 降至 0.16 GB)、峰值训练内存减少 2.9 倍(80.6 GB 降至 27.5 GB),精度与运行时间相当,并支持在单张 80 GB H100 上对 30-32B 参数模型做全参数微调。

已读完全部报道