扩散语言模型学会数字符:不微调也能把摘要卡在目标长度,误差降到3.1字符以内
面向标题、预览等必须卡准字符数的摘要场景,Delta 在掩码扩散语言模型的去噪循环里估计当前输出的期望字符长度,并动态增删掩码位置把生成引向目标长度。它不需要微调,直接用于现成的 LLaDA 与 Dream。在 XSum、CNN/DailyMail、arXiv 三个摘要基准上,字符长度误差比各基线低一个数量级,同时自动与人工评价下的摘要质量保持可比。
面向标题、预览等必须卡准字符数的摘要场景,Delta 在掩码扩散语言模型的去噪循环里估计当前输出的期望字符长度,并动态增删掩码位置把生成引向目标长度。它不需要微调,直接用于现成的 LLaDA 与 Dream。在 XSum、CNN/DailyMail、arXiv 三个摘要基准上,字符长度误差比各基线低一个数量级,同时自动与人工评价下的摘要质量保持可比。
已读完全部报道