离散扩散模型不再按词表规模付代价:稀疏数据下掩码与均匀加噪同达极小极大最优
离散扩散模型此前缺少像连续扩散那样的统计理论,尤其不清楚它能否利用数据分布的稀疏结构。该分析把掩码扩散的分数估计写成按上下文做标签平滑的分类器,并证明这种平滑等价于用均匀分布分数损失做正则。在至多k个序列有正概率的稀疏分布类上,掩码与均匀两种加噪过程的终端分布都达到稀疏极小极大速率,且平滑强度可由训练中出现的不同序列数自适应选取,无需知道稀疏参数。
离散扩散模型此前缺少像连续扩散那样的统计理论,尤其不清楚它能否利用数据分布的稀疏结构。该分析把掩码扩散的分数估计写成按上下文做标签平滑的分类器,并证明这种平滑等价于用均匀分布分数损失做正则。在至多k个序列有正概率的稀疏分布类上,掩码与均匀两种加噪过程的终端分布都达到稀疏极小极大速率,且平滑强度可由训练中出现的不同序列数自适应选取,无需知道稀疏参数。
该文论证无监督学习(含自监督学习)不存在单一目标或单一被最大化的目标函数,并提出四个彼此不同、部分正交甚至相互冲突的目标:估计数据分布、生成新数据点、为下游任务提取特征、以及理解数据;作者对每个目标给出问题表述、代表性方法与验证方式,并指出理解数据这一目标依赖可辨识性,而验证本身往往最为困难。
该工作基于新发布的 1 微米/像素右海马 BigBrain 切片,构建了 CALHippo——一个覆盖全部 Cornu Ammonis(CA1–CA4)亚区、带兴奋性神经元、抑制性中间神经元和胶质细胞三类显式标签的专家校验细胞级标注数据集,并配套一个低分辨率介观细胞点云图;高分辨率细胞实例通过结合基础模型分割、迭代专家修正与模型集成的人机协同流程获得,随后被投影到 20 微米/像素的低分辨率 BigBrain 空间生成类别特异监督图,用于训练基于 UNet 的密度估计模型,从而支持对整个 CA 复合体逐切片推断并采样生成类别分辨的介观细胞点云。
已读完全部报道