掩码扩散模型后训练不再随机抽块:全块估计器让每块只算一次,五个基准中四个准确率最高
掩码扩散语言模型的后训练依赖对分块代理目标的蒙特卡洛估计,而原有做法随机抽取块索引,同一块可能被重复计算、另一些块从未被评估。全块估计器改为让每个块恰好评估一次再取平均,理论分析表明它保持无偏并消除块选择带来的组间方差;在数学、规划和编码五个基准上,它在四个基准上取得最高准确率,相对随机块采样基线平均高出12.79分。
掩码扩散语言模型的后训练依赖对分块代理目标的蒙特卡洛估计,而原有做法随机抽取块索引,同一块可能被重复计算、另一些块从未被评估。全块估计器改为让每个块恰好评估一次再取平均,理论分析表明它保持无偏并消除块选择带来的组间方差;在数学、规划和编码五个基准上,它在四个基准上取得最高准确率,相对随机块采样基线平均高出12.79分。
已读完全部报道