扩散语言模型学会数字符：不微调也能把摘要卡在目标长度，误差降到3.1字符以内
核心概要
面向标题、预览等必须卡准字符数的摘要场景，Delta 在掩码扩散语言模型的去噪循环里估计当前输出的期望字符长度，并动态增删掩码位置把生成引向目标长度。它不需要微调，直接用于现成的 LLaDA 与 Dream。在 XSum、CNN/DailyMail、arXiv 三个摘要基准上，字符长度误差比各基线低一个数量级，同时自动与人工评价下的摘要质量保持可比。
深度剖析
摘要生成现在可以在推理阶段把输出字符数压到目标附近，而不必改动模型权重或重新训练。 此前的长度控制要么依赖针对任务的微调，要么靠提示词与事后筛选，在自回归解码下只能做到近似符合。 在三个摘要基准上，Delta 把平均绝对字符长度误差降到 2.3 至 3.1 字符，而最强的自回归长度控制基线 LA-SF-AR 在 XSum 上只有 84.2% 的输出落在目标 10 字符以内，在 arXiv 上降到 22.9%。
做法是在去噪过程中持续估算最终会写出多少字符，并据此调整待填的掩码槽位。 掩码扩散模型逐步细化一整块被遮住的 token 缓冲，因此插入或删除掩码不会像自回归那样打乱已写出的前缀。 每个位置按已确定 token 的精确字符数和仍被遮住位置的预测分布加权求和得到期望长度，再按置信度从低到高删除多余掩码或插入新掩码，且只在提交 token 之后调整以避免来回振荡。
长度精度的提升来自动态调整缓冲本身，而不是模型或提示的差异。 把同一模型、提示、置信度调度和初始化下的掩码插入与删除关掉，就退回到固定缓冲解码。 固定缓冲消融在 arXiv 上误差达 92.31 至 113.94 字符，而 Delta 为 2.8 至 3.1 字符，摘要质量指标大体相当；50 例 CNN/DailyMail 盲评中 Delta+Dream 平均 4.27 分，LA-SF-AR 与 GPT-4o-mini 分别为 4.32 和 4.31 分。
启示与展望
演示范围限于英文摘要任务和 7 至 8B 参数的两个掩码扩散模型 LLaDA 与 Dream，目标长度取参考摘要的字符数，评测覆盖 XSum、CNN/DailyMail 与 arXiv 三个基准。
推理速度是明确代价：XSum 上 Delta 每篇 0.67 至 0.69 秒，快于 LA-SF-AR 的 1.43 秒，但 CNN/DailyMail 与 arXiv 上分别需 8.59 秒和 20.75 至 22.80 秒，慢于 LA-SF-AR 的 2.19 秒和 13.22 秒。自动质量评分对 LLM 评判器敏感，GPT-4o-mini 与 GPT-5-mini 在一致性和连贯性上差异明显；人工评价仅覆盖 50 例 CNN/DailyMail、两名标注者。阈值按数据集与模型网格搜索选定，未给出敏感性分析或自适应设定方法。