# BYOD：自建扩散语言模型

BYOD给出一种只训练LoRA适配器的自回归到扩散语言模型转换方法：冻结全部基座参数，把每层因果注意力换成双向注意力，用掩码扩散目标在单张Google Colab GPU上训练最多102.4M token、3.1–4.0小时，即把Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B转成可从全掩码序列生成的扩散模型，适配器占最终参数4.1–5.8%。九项任务上最强的BYOD-Gemma平均准确率50.6%，同一评测框架下LLaDA 8B Instruct为51.9%；低NFE预算下的开放生成质量仍是主要短板。

BYOD给出一种只训练LoRA适配器的自回归到扩散语言模型转换方法：冻结全部基座参数，把每层因果注意力换成双向注意力，用掩码扩散目标在单张Google Colab GPU上训练最多102.4M token、3.1–4.0小时，即把Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B转成可从全掩码序列生成的扩散模型，适配器占最终参数4.1–5.8%。九项任务上最强的BYOD-Gemma平均准确率50.6%，同一评测框架下LLaDA 8B Instruct为51.9%；低NFE预算下的开放生成质量仍是主要短板。