# 循环深度

视觉Transformer的深度堆叠被压缩成一个循环复用的Transformer块，每个循环深度上的FFN由一个小专家库按归一化深度坐标做凸组合生成，从而在共享权重的同时保留随深度变化的计算。在ImageNet-1k监督训练下，reViT-B/16以约少70%的存储参数达到DeiT III的精度；在只匹配DINOv2教师最后一层特征的蒸馏设置中，8专家模型在分类、分割和深度预测的冻结探针上接近教师。同一检查点还能通过重采样深度坐标在多个测试深度上运行。

视觉Transformer的深度堆叠被压缩成一个循环复用的Transformer块，每个循环深度上的FFN由一个小专家库按归一化深度坐标做凸组合生成，从而在共享权重的同时保留随深度变化的计算。在ImageNet-1k监督训练下，reViT-B/16以约少70%的存储参数达到DeiT III的精度；在只匹配DINOv2教师最后一层特征的蒸馏设置中，8专家模型在分类、分割和深度预测的冻结探针上接近教师。同一检查点还能通过重采样深度坐标在多个测试深度上运行。

该工作测量了预训练Transformer在上下文中跟随引用链的能力：十三个基座模型只能可靠跟随1.4–3.6行（中位数2.2），额外预训练循环也帮助有限；在全部权重冻结的前提下，于某一早期层训练一个rank-8 LoRA即可延长这一计算，使Qwen3-8B在24行链上的精确准确率从15.5%升至99%，更长训练的LoRA达到50行，Ouro-1.4B在四循环后达到60行、八循环后至少160行，机制上表现为LoRA在中层启动一段“接力”，由冻结的注意力头沿链逐步向上读取，移除父行注意力即中断该接力。

该工作测量了预训练Transformer在上下文中跟随引用链的能力：十三个基座模型只能可靠跟随1.4–3.6行（中位数2.2），额外预训练循环也帮助有限；在全部权重冻结的前提下，于某一早期层训练一个rank-8 LoRA即可延长这一计算，使Qwen3-8B在24行链上的精确准确率从15.5%升至99%，更长训练的LoRA达到50行，Ouro-1.4B在四循环后达到60行、八循环后至少160行，机制上表现为LoRA在中层启动一段“接力”，由冻结的注意力头沿链逐步向上读取，移除父行注意力即中断该接力。

该研究在受控预训练设置下系统考察循环语言模型（LoopLM）的循环何时有益、应放在何处以及如何条件化，发现超出训练视界的额外循环能提升推理表现（如某配置推理得分从28.52升至31.49）却使知识表现下降（从62.80降至52.11），非循环输出层可增强欠展开鲁棒性，而提出的历史状态注入（尤其通道式）结合时间步条件化能在扩展展开时更好地保留知识并提升跨推理预算的稳健性。

该研究在受控预训练设置下系统考察循环语言模型（LoopLM）的循环何时有益、应放在何处以及如何条件化，发现超出训练视界的额外循环能提升推理表现（如某配置推理得分从28.52升至31.49）却使知识表现下降（从62.80降至52.11），非循环输出层可增强欠展开鲁棒性，而提出的历史状态注入（尤其通道式）结合时间步条件化能在扩展展开时更好地保留知识并提升跨推理预算的稳健性。