# GRAFT框架

连续扩散语言模型并行生成整句，中间不逐词抽样，代价是词表长尾塌缩：ELF在常见词上几乎与人类文本持平，最稀有词却只到人类速率的一小部分，且从1.05亿到6.52亿参数、各种采样器设置都补不回来。GRAFT在推理阶段读取解码头，把即将被平均值淹没的稀有词固定下来，再从噪声重新生成，在三个ELF规模和独立实现的LangFlow上把稀有词份额从人类速率的0.42–0.77倍提高到0.82–1.25倍，代价是非词比例在部分模型上小幅上升。

连续扩散语言模型并行生成整句，中间不逐词抽样，代价是词表长尾塌缩：ELF在常见词上几乎与人类文本持平，最稀有词却只到人类速率的一小部分，且从1.05亿到6.52亿参数、各种采样器设置都补不回来。GRAFT在推理阶段读取解码头，把即将被平均值淹没的稀有词固定下来，再从噪声重新生成，在三个ELF规模和独立实现的LangFlow上把稀有词份额从人类速率的0.42–0.77倍提高到0.82–1.25倍，代价是非词比例在部分模型上小幅上升。

GRAFT 提出一种持续多教师知识蒸馏框架，把已蒸馏模型当作教师以保留旧能力，同时让当前学生联合学习旧模型与新到教师，并引入 Teacher Specific Readout Tokens 与 Geometry Agnostic Relational Loss 来调和异构教师的表示几何，从而得到一个可持续扩展的单一骨干，统一图像理解、2D 稠密预测、3D 人体姿态估计、3D 视觉与视觉-语言五个领域，且每获得一项新能力只需一次蒸馏而非对全部教师重新联合蒸馏。

GRAFT 提出一种持续多教师知识蒸馏框架，把已蒸馏模型当作教师以保留旧能力，同时让当前学生联合学习旧模型与新到教师，并引入 Teacher Specific Readout Tokens 与 Geometry Agnostic Relational Loss 来调和异构教师的表示几何，从而得到一个可持续扩展的单一骨干，统一图像理解、2D 稠密预测、3D 人体姿态估计、3D 视觉与视觉-语言五个领域，且每获得一项新能力只需一次蒸馏而非对全部教师重新联合蒸馏。

该工作提出GRAFT框架，在可验证奖励强化学习（RLVR）中把接收方全部失败的rollout组替换为同伴模型同时含成功与失败回答的组，并用序列级兼容性加权与token级重要性比率裁剪控制跨模型失配；在三对异构模型和五个数学推理基准上，GRAFT在相同单模型rollout预算下同时提升两个模型，平均提升2.1分、最高4.5分，且复用已存储的同伴轨迹仍平均提升1.8分。

该工作提出GRAFT框架，在可验证奖励强化学习（RLVR）中把接收方全部失败的rollout组替换为同伴模型同时含成功与失败回答的组，并用序列级兼容性加权与token级重要性比率裁剪控制跨模型失配；在三对异构模型和五个数学推理基准上，GRAFT在相同单模型rollout预算下同时提升两个模型，平均提升2.1分、最高4.5分，且复用已存储的同伴轨迹仍平均提升1.8分。