Dory1.0-4B把推理算力放进循环层：同一份权重多跑几圈，12项基准均分从35.2升到40.6
核心概要
Dory1.0-4B 是一个 40 亿参数的循环式语言模型，同一份检查点可在推理时改变共享循环块的执行次数，从而按请求调节算力。它在 6 万亿 token 上预训练，前 4.5 万亿 token 用 NVFP4 训练，随后把上下文扩展到 256K，并用 SFT 与 RLVR 后训练。在 12 项基准的等权平均上，它从一圈的 35.2 升到两圈的 39.7、四圈的 40.6，两圈及以上时平均分高于 Qwen3.5-9B、Gemma 4 12B 和 Gemma 4 26B-A4B。
深度剖析
Dory1.0-4B 让同一份权重在推理时按需多跑几遍共享循环块，把额外算力花在潜空间而不是更长的输出上。 此前扩大测试时算力主要靠生成更长的推理链，延迟、KV 缓存和部署成本随每个生成 token 增长。 在 12 项基准的等权平均上，一圈为 35.2，两圈为 39.7，四圈为 40.6；两圈及以上时平均分高于 Qwen3.5-9B、Gemma 4 12B 和 Gemma 4 26B-A4B。
模型把 72 层分成只跑一次的输入块、可重复执行的 40 层循环块和只跑一次的输出块，输入块的输出在每次循环前重新注入。 循环块的所有参数在每次调用间共享，循环边界只做逐 token 的 L2 归一化，不引入额外的适配器参数或外层残差。 预训练先在 NVFP4 下以非循环形式训练 4.5 万亿 token，再在 BF16 下用 1.5 万亿 token 引入循环，循环次数从 1 到 4 采样，并用截断的循环反向传播训练。
后训练中的难度感知循环课程把通过率更低的提示优先路由到更深的循环。 RLVR 阶段用 200 步异步 GRPO，在 23 个环境上训练，rollout 工作进程各自固定循环次数。 在消融中，该课程在四圈时增益最大，例如把 Terminal-Bench v2.1 的准确率从 14.0% 提高到 21.4%。
只缓存最后一圈的键值让注意力 KV 内存在任意循环次数下都等于非循环模型的一圈大小。 按圈缓存时，循环块的 KV 缓存随循环次数线性增长。 在四圈时，最后一圈缓存相对按圈缓存的基准分数变化在约 0.1 到 2.0 分之间，平均输出长度变化很小，从 GPQA Diamond 少 1.0% 到 Terminal-Bench v2.1 多 3.4%。
启示与展望
演示范围是 40 亿参数的文本模型在 12 项基准上的评测，覆盖编码与智能体、推理、指令遵循、长上下文和通用知识；评测使用统一协议，部分分数与外部公布结果不同。
循环带来的增益依任务而异，AA-Omniscience 准确率在各循环次数下基本不变；最后一圈缓存让早先循环的查询看到最后一圈的键值，与训练时同圈注意力不一致；自推测解码的加速随批大小增大而下降。