# 极小极大最优估计速率

离散扩散模型此前缺少像连续扩散那样的统计理论，尤其不清楚它能否利用数据分布的稀疏结构。该分析把掩码扩散的分数估计写成按上下文做标签平滑的分类器，并证明这种平滑等价于用均匀分布分数损失做正则。在至多k个序列有正概率的稀疏分布类上，掩码与均匀两种加噪过程的终端分布都达到稀疏极小极大速率，且平滑强度可由训练中出现的不同序列数自适应选取，无需知道稀疏参数。

离散扩散模型此前缺少像连续扩散那样的统计理论，尤其不清楚它能否利用数据分布的稀疏结构。该分析把掩码扩散的分数估计写成按上下文做标签平滑的分类器，并证明这种平滑等价于用均匀分布分数损失做正则。在至多k个序列有正概率的稀疏分布类上，掩码与均匀两种加噪过程的终端分布都达到稀疏极小极大速率，且平滑强度可由训练中出现的不同序列数自适应选取，无需知道稀疏参数。