离散扩散不再需要离线训练:DMBD 直接优化离散变量,多机器人任务分配在 15 组设置中 14 组优于同类采样方法
离散扩散求解组合优化此前依赖离线训练的神经网络去噪器,而无需训练的模型驱动扩散只能处理连续变量、需把解取整。DMBD 把离散扩散的去噪过程改为用已知目标函数加权的蒙特卡洛采样直接逼近类别反向转移,在异构多机器人联盟形成与调度基准的 15 组设置中,有 14 组取得同类采样方法中最低的完工时间,并在 8 组中优于全部基线。
离散扩散求解组合优化此前依赖离线训练的神经网络去噪器,而无需训练的模型驱动扩散只能处理连续变量、需把解取整。DMBD 把离散扩散的去噪过程改为用已知目标函数加权的蒙特卡洛采样直接逼近类别反向转移,在异构多机器人联盟形成与调度基准的 15 组设置中,有 14 组取得同类采样方法中最低的完工时间,并在 8 组中优于全部基线。
系统发育树的后验推断长期依赖似然计算,而插入缺失、位点选择等真实演化过程让似然不可解。这组条件生成模型把建树拆成自底向上、自中向外或自顶向下的一步步决策,用离散扩散目标训练,在真实与合成数据上比此前的模拟推断方法Phyloformer 2更接近MCMC后验;在简单数据上与IQ-Tree持平,在更真实的复杂模型数据上稳定更准。
离散扩散模型此前缺少像连续扩散那样的统计理论,尤其不清楚它能否利用数据分布的稀疏结构。该分析把掩码扩散的分数估计写成按上下文做标签平滑的分类器,并证明这种平滑等价于用均匀分布分数损失做正则。在至多k个序列有正概率的稀疏分布类上,掩码与均匀两种加噪过程的终端分布都达到稀疏极小极大速率,且平滑强度可由训练中出现的不同序列数自适应选取,无需知道稀疏参数。
离散扩散模型的采样此前每一步都要重新抽取随机数,轨迹无法固定。指数残差流为每个位置和词元配一个连续残差变量,初始化后按分段常微分方程确定演化,残差归零即触发一次词元替换,并证明该构造保持原扩散模型各时刻的边缘分布。在匹配模型评估次数下,其生成质量与祖先采样相当,确定性轨迹还可用于一致性蒸馏。
BYOD给出一种只训练LoRA适配器的自回归到扩散语言模型转换方法:冻结全部基座参数,把每层因果注意力换成双向注意力,用掩码扩散目标在单张Google Colab GPU上训练最多102.4M token、3.1–4.0小时,即把Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B转成可从全掩码序列生成的扩散模型,适配器占最终参数4.1–5.8%。九项任务上最强的BYOD-Gemma平均准确率50.6%,同一评测框架下LLaDA 8B Instruct为51.9%;低NFE预算下的开放生成质量仍是主要短板。
该工作针对低阶马尔可夫随机场刻画的局部依赖分类分布,提出离散得分函数的pinning分解,据此设计权重共享神经得分学习器并结合τ-leaping构成端到端采样流程,在有限数据下推导出显式依赖词表规模、MRF交互阶数与样本量的最优采样保证,并在Potts、Ising与树结构模型上显示权重共享得分网络在长序列采样上优于全连接网络。
该工作提出 E-MoE,把混合专家骨干的专家路由决策当作离散共享隐变量,使掩码扩散模型的反向过程成为因子化分布的混合,在不增加每 token 激活参数的前提下改善少步生成:在合成二维分布、二值化 MNIST 和 LM1B 上均优于因子化基线,LM1B 在 NFE=1 时生成困惑度由 MDLM 的 1433.8 降至 643.8。
已读完全部报道