Gheorghe Asachi Technical University of Iași

视觉Transformer的深度堆叠被压缩成一个循环复用的Transformer块，每个循环深度上的FFN由一个小专家库按归一化深度坐标做凸组合生成，从而在共享权重的同时保留随深度变化的计算。在ImageNet-1k监督训练下，reViT-B/16以约少70%的存储参数达到DeiT III的精度；在只匹配DINOv2教师最后一层特征的蒸馏设置中，8专家模型在分类、分割和深度预测的冻结探针上接近教师。同一检查点还能通过重采样深度坐标在多个测试深度上运行。

视觉Transformer的深度堆叠被压缩成一个循环复用的Transformer块，每个循环深度上的FFN由一个小专家库按归一化深度坐标做凸组合生成，从而在共享权重的同时保留随深度变化的计算。在ImageNet-1k监督训练下，reViT-B/16以约少70%的存储参数达到DeiT III的精度；在只匹配DINOv2教师最后一层特征的蒸馏设置中，8专家模型在分类、分割和深度预测的冻结探针上接近教师。同一检查点还能通过重采样深度坐标在多个测试深度上运行。

作者提出潜推理的五项要求（有用、多样、可解释、可精化、高效），并给出基于学习潜空间中流匹配的配方FLaRe：用符号思维链训练VAE、对输入与潜码加扰动、把流训练集中在接近纯噪声处、答案读取器同时读加噪码与模型自身预测、再用自验证 rollout 自训练；探针显示FLaRe在五项要求上均优于Coconut、CODI、PCCoT，在算术基准上表现更好，并以约四分之一延迟达到显式思维链97%的准确率。

作者提出潜推理的五项要求（有用、多样、可解释、可精化、高效），并给出基于学习潜空间中流匹配的配方FLaRe：用符号思维链训练VAE、对输入与潜码加扰动、把流训练集中在接近纯噪声处、答案读取器同时读加噪码与模型自身预测、再用自验证 rollout 自训练；探针显示FLaRe在五项要求上均优于Coconut、CODI、PCCoT，在算术基准上表现更好，并以约四分之一延迟达到显式思维链97%的准确率。