扩散语言模型不必从零预训练：只训LoRA适配器，单卡数小时把四个自回归模型改成并行生成
核心概要
BYOD给出一种只训练LoRA适配器的自回归到扩散语言模型转换方法：冻结全部基座参数，把每层因果注意力换成双向注意力，用掩码扩散目标在单张Google Colab GPU上训练最多102.4M token、3.1–4.0小时，即把Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B和Ministral 8B转成可从全掩码序列生成的扩散模型，适配器占最终参数4.1–5.8%。九项任务上最强的BYOD-Gemma平均准确率50.6%，同一评测框架下LLaDA 8B Instruct为51.9%；低NFE预算下的开放生成质量仍是主要短板。
深度剖析
把已有自回归模型改造成扩散语言模型，现在可以只训练一层低秩适配器完成，基座权重全程不动。 此前的扩散语言模型多依赖昂贵的从零预训练或全模型微调，例如LLaDA 8B用2.3T token、130,000 GPU小时从头预训练。 四个指令微调模型家族各自完成一次转换，适配器只占最终参数的4.1–5.8%，每次转换最多处理102.4M token，在单张Google Colab GPU上耗时3.1–4.0小时。
转换后的模型确实按双向上下文工作，而不是保留原来的从左到右生成方式。 自回归模型只能依据左侧已生成的token预测下一个token，因果注意力使右侧信息无法影响较早位置的判断。 在右文线索复制测试中，加入掩码之后的线索使每个转换模型的贪心预测在100%的测试项上发生改变；无线索时所有模型的精确匹配率为0%。
转换保留了相当一部分父模型知识，但开放生成质量与父模型和LLaDA仍有距离。 九项任务的平均准确率上，四个自回归父模型均高于各自的转换版本，BYOD-Gemma为50.6%，其父模型为65.7%。 生成128个token、64步去噪时，BYOD模型的困惑度为8.3–11.1，LLaDA为4.1，自回归父模型为2.2–3.0；BYOD-Gemma在同一评测框架下平均准确率50.6%，LLaDA 8B Instruct为51.9%。
启示与展望
演示范围是四个指令微调文本模型（Gemma 2 9B、Llama 3.1 8B、Qwen2.5 7B、Ministral 8B Instruct 2410）的转换与配对评测，评测在每项基准固定的125例子集上进行，效率主张针对转换训练而非推理加速。
转换后的模型在数学与代码任务上相对父模型的差距最大，代码输出中出现语法错误；困惑度与Distinct指标不能衡量事实性、语法或连贯性。跨模型比较不是受控架构研究，父模型在规模、分词器、预训练和对齐上均不同，固定LoRA秩也使各模型的绝对适配器预算不同，因此Gemma的领先无法单独归因于架构、父模型质量、模型规模或可训练参数量。成本与碳排放数字是按统一租用价格和能耗情景推算的示意值，并非实测账单或排放。