# 循环语言模型

Dory1.0-4B 是一个 40 亿参数的循环式语言模型，同一份检查点可在推理时改变共享循环块的执行次数，从而按请求调节算力。它在 6 万亿 token 上预训练，前 4.5 万亿 token 用 NVFP4 训练，随后把上下文扩展到 256K，并用 SFT 与 RLVR 后训练。在 12 项基准的等权平均上，它从一圈的 35.2 升到两圈的 39.7、四圈的 40.6，两圈及以上时平均分高于 Qwen3.5-9B、Gemma 4 12B 和 Gemma 4 26B-A4B。

Dory1.0-4B 是一个 40 亿参数的循环式语言模型，同一份检查点可在推理时改变共享循环块的执行次数，从而按请求调节算力。它在 6 万亿 token 上预训练，前 4.5 万亿 token 用 NVFP4 训练，随后把上下文扩展到 256K，并用 SFT 与 RLVR 后训练。在 12 项基准的等权平均上，它从一圈的 35.2 升到两圈的 39.7、四圈的 40.6，两圈及以上时平均分高于 Qwen3.5-9B、Gemma 4 12B 和 Gemma 4 26B-A4B。

该研究在受控预训练设置下系统考察循环语言模型（LoopLM）的循环何时有益、应放在何处以及如何条件化，发现超出训练视界的额外循环能提升推理表现（如某配置推理得分从28.52升至31.49）却使知识表现下降（从62.80降至52.11），非循环输出层可增强欠展开鲁棒性，而提出的历史状态注入（尤其通道式）结合时间步条件化能在扩展展开时更好地保留知识并提升跨推理预算的稳健性。

该研究在受控预训练设置下系统考察循环语言模型（LoopLM）的循环何时有益、应放在何处以及如何条件化，发现超出训练视界的额外循环能提升推理表现（如某配置推理得分从28.52升至31.49）却使知识表现下降（从62.80降至52.11），非循环输出层可增强欠展开鲁棒性，而提出的历史状态注入（尤其通道式）结合时间步条件化能在扩展展开时更好地保留知识并提升跨推理预算的稳健性。