跳到主要内容

# 扩散大语言模型

2 篇关联报道

ACM Transactions on Software Engineering and Methodology 2026年9月24日
首个面向代码生成的扩散大模型系统性实证研究：7个扩散模型在MBPP+上以79.1%超过最佳自回归基线的73.3%，但开源扩散模型整体仍未稳定追平强自回归模型
该研究对7个代表性扩散大语言模型（含闭源Mercury-Coder-Small）与4个开源自回归基线在HumanEval/HumanEval+、MBPP/MBPP+、HumanEval-X、LiveCodeBench、RepoQA、RepoBench-C及SWE-Bench Verified上做了代码生成中心的实证评测，发现扩散模型能力有前景但不均衡：闭源扩散模型在多数基准上最强（如MBPP+ 79.1%对最佳自回归基线73.3%），代码专用开源扩散模型优于通用扩散模型，开源扩散模型整体尚未稳定追平最强自回归基线，但在若干函数级基准上已具竞争力，且所选扩散与自回归模型组解决的问题集合部分不重叠（3
该研究对7个代表性扩散大语言模型（含闭源Mercury-Coder-Small）与4个开源自回归基线在HumanEval/HumanEval+、MBPP/MBPP+、HumanEval-X、LiveCodeBench、RepoQA、RepoBench-C及SWE-Bench Verified上做了代码生成中心的实证评测，发现扩散模型能力有前景但不均衡：闭源扩散模型在多数基准上最强（如MBPP+ 79.1%对最佳自回归基线73.3%），代码专用开源扩散模型优于通用扩散模型，开源扩散模型整体尚未稳定追平最强自回归基线，但在若干函数级基准上已具竞争力，且所选扩散与自回归模型组解决的问题集合部分不重叠（3
Nanjing University Peking University Tsinghua University
Chengze Li（第一作者）
代码生成扩散大语言模型并行解码
arXiv 2026年9月23日
Flash-dLLM：面向扩散语言模型的 I/O 感知 KV 缓存与并行解码加速框架
Flash-dLLM 是一个免训练的扩散语言模型推理加速框架：用 I/O 感知的融合 KV 缓存内核（把 QKV 投影、RoPE 与缓存写入合并并在 SRAM 内完成、直接写回 KV 缓存）和调度式 Flash Attention 缓解 GPU 显存读写瓶颈，用选择性缓存更新只保留最受关注的少量 token，并让模型自身同时充当草稿者与验证者（Flash-Verify）；在 LLaDA-1.5 上的 GSM8K、MATH、HumanEval、MBPP 实验中，它报告相对最强基线 Elastic-Cache 在 GSM8K 与 HumanEval 上分别 5.1× 和 11.0× 的加速，并保持生成质量。
Flash-dLLM 是一个免训练的扩散语言模型推理加速框架：用 I/O 感知的融合 KV 缓存内核（把 QKV 投影、RoPE 与缓存写入合并并在 SRAM 内完成、直接写回 KV 缓存）和调度式 Flash Attention 缓解 GPU 显存读写瓶颈，用选择性缓存更新只保留最受关注的少量 token，并让模型自身同时充当草稿者与验证者（Flash-Verify）；在 LLaDA-1.5 上的 GSM8K、MATH、HumanEval、MBPP 实验中，它报告相对最强基线 Elastic-Cache 在 GSM8K 与 HumanEval 上分别 5.1× 和 11.0× 的加速，并保持生成质量。
Mohamed bin Zayed University of Artificial Intelligence
Quan Nguyen-Tri（第一作者）
Flash-dLLM KV缓存并行解码扩散大语言模型推理加速

已读完全部报道