跳到主要内容
检索

# 掩码扩散语言模型

2 篇关联报道

订阅更新
  1. arXiv

    掩码扩散模型在预算内提前锁定答案：HiLo-RD 用大窗口轨迹自蒸馏，GSM8K 准确率升 9.4 个百分点

    掩码扩散语言模型在小响应窗口下会在推理尚未完成时先固定答案片段，这一提前承诺随后成为后续预测的上下文。HiLo-RD 让同一模型的大窗口轨迹充当冻结教师，把其隐藏表示对齐到裁剪后的小窗口视图，在已提交位置上做表示蒸馏。在相同小推理预算下，GSM8K 准确率从 68.84% 升到 78.24%，平均可读长度从 362.8 降到 271.3 个 token，增益还延伸到未做代码域训练的代码生成。

    Zhejiang UniversityAlibaba Group (China)Hong Kong University of Science and TechnologyNanyang Technological UniversityThe Hong Kong University of Science and Technology (Guangzhou)
    Xiang Li（第一作者）
    表征蒸馏掩码扩散语言模型自蒸馏数学推理预算诱导的过早提交
  2. arXiv

    Pivot-SD 只监督去噪中的高影响承诺，用 200 个问题让 LLaDA-8B-Instruct 在数学与代码基准上超过全序列 SFT 和同等预算的扩散 RL 基线

    该工作提出 Pivot-SD，一种离线自蒸馏框架，用信息增益度量挑选去噪过程中能大幅降低其余掩码位置不确定性的高影响承诺（pivots），对成功轨迹的 pivots 用交叉熵训练、对失败轨迹的 pivots 用定向 unlikelihood 训练而保持失败轨迹其余部分不变，仅用 200 个问题和每条四次 rollout，就在数学与代码基准上使 LLaDA-8B-Instruct 优于全序列 SFT 和预算匹配的扩散 RL 基线。

    University of TorontoKorea Advanced Institute of Science and Technology
    Seo Hyun Kim（第一作者）
    自蒸馏Pivot-SD掩码扩散语言模型

已读完全部报道