离散扩散模型不再按词表规模付代价：稀疏数据下掩码与均匀加噪同达极小极大最优
核心概要
离散扩散模型此前缺少像连续扩散那样的统计理论，尤其不清楚它能否利用数据分布的稀疏结构。该分析把掩码扩散的分数估计写成按上下文做标签平滑的分类器，并证明这种平滑等价于用均匀分布分数损失做正则。在至多k个序列有正概率的稀疏分布类上，掩码与均匀两种加噪过程的终端分布都达到稀疏极小极大速率，且平滑强度可由训练中出现的不同序列数自适应选取，无需知道稀疏参数。
深度剖析
离散扩散模型在数据分布稀疏时可以达到稀疏类的极小极大估计速率，误差不再随指数级增长的序列状态空间规模变化，而由稀疏度决定。 此前离散扩散的统计界依赖扩散状态空间的大小和密度比条件，没有刻画对干净分布支撑集大小的自适应；连续扩散已有利用低维结构的结果。 在至多k个序列有正概率、坐标无独立性假设、正概率无下界的稀疏分布类上，掩码与均匀两种加噪过程的终端分布误差在期望和高概率两种意义下都达到稀疏极小极大速率。
掩码扩散的分数可以按上下文拆成一个预测被掩位置词元的分类器乘上显式的时间因子，因此可以直接借用分类里的标签平滑来正则化。 直接最小化经验分数熵会给出在未观测序列上概率为零的分数，其前向KL散度为无穷，无法作为可分析的估计量。 对每个上下文加入随观测次数变化的平滑项后，最小化正则损失得到的分数恰好是平滑经验分布诱导的合法分数；观测多的上下文几乎不平滑，未出现的上下文预测为均匀。
同一套正则化可以推广到均匀加噪：混合分数熵损失的最小化者仍是平滑经验分布的精确分数，只是不再对应分类器的标签平滑。 掩码情形依赖分数按上下文分解的结构，一般加噪核没有这种分解，因此需要另一条论证路径。 均匀扩散没有全掩码初态，采样器从均匀分布初始化会带来额外误差，该误差被证明可被吸收，代价是时间跨度需要一个对数下界。
启示与展望
分析限定在有限序列空间、至多k个序列有正概率的稀疏分布类，以及均匀加噪与掩码加噪两种标准机制；掩码情形从全掩码初态出发可精确得到终端分布，均匀情形需要时间跨度的一个对数下界。实验用小型稀疏马尔可夫链的平稳分布检验闭式平滑估计量，并在text8的经验n-gram分布上训练分数网络，作者把更实际的高维消融留作后续工作。
误差界中的有效支撑与有效缺失支撑量依赖数据分布，平滑水平的可用区间在一般情形下与未知的稀疏参数有关，需要改用观测到的不同序列数来自适应。作者指出掩码与均匀扩散在实践中的差距究竟来自分数近似还是优化，仍是未解问题，正则化方法的严格实证评估也留待后续。