跳到主要内容
检索

# ELF-REG

1 篇关联报道

订阅更新
  1. arXiv

    ELF-REG 把连续扩散语言模型推到数学推理与代码生成:GSM8K 达 55.96% pass@1,MATH-500 从 10.55% 提升到 13.39%

    该工作将 Embedded Language Flows(ELF)扩展到数学推理与代码生成任务,提出 ELF-REG,用冻结的自回归教师模型监督中间去噪特征并提供与响应联合去噪的全局表示(REPA+REG),在 GSM8K、MATH-500、HumanEval、MBPP 上评估:ELF-REG-L 在 64 NFE 下 GSM8K pass@1 为 55.96%,在 128 NFE 下 MATH-500 为 13.39%、HumanEval 为 22.56%,在 GSM8K 与代码任务上超过所评估的同规模 dLM,并把 MATH-500 从 ELF-L 基线的 10.55% 提升到 13.39%;同一任务专用检查点无需少步训练即可通过 early-stop 在

已读完全部报道