首个面向代码生成的扩散大模型系统性实证研究:7个扩散模型在MBPP+上以79.1%超过最佳自回归基线的73.3%,但开源扩散模型整体仍未稳定追平强自回归模型
该研究对7个代表性扩散大语言模型(含闭源Mercury-Coder-Small)与4个开源自回归基线在HumanEval/HumanEval+、MBPP/MBPP+、HumanEval-X、LiveCodeBench、RepoQA、RepoBench-C及SWE-Bench Verified上做了代码生成中心的实证评测,发现扩散模型能力有前景但不均衡:闭源扩散模型在多数基准上最强(如MBPP+ 79.1%对最佳自回归基线73.3%),代码专用开源扩散模型优于通用扩散模型,开源扩散模型整体尚未稳定追平最强自回归基线,但在若干函数级基准上已具竞争力,且所选扩散与自回归模型组解决的问题集合部分不重叠(3