循环推理不再只留最新状态：注意力残差让7M小模型在近2.5万层仍保持解
核心概要
循环Transformer在测试时反复执行同一共享块来加深推理，但常用的“直接传递上一次输出”规则会让后续迭代覆盖已经正确的中间结果。InfiLoop把这一规则换成对历次循环输出的学习式注意力聚合：共享伪查询给每个候选打分，学习到的指数衰减压低旧输出权重，聚合结果以精确流式递推实现，每token只需一个加权状态向量和一个归一化标量。在Sudoku-Extreme上，7M参数模型达到97.9%精确准确率，超过FPRM的94.2%；在1,872层时达到90.9%，而FPRM要到3,744层才有90.1%。
深度剖析
循环推理的瓶颈被定位在迭代之间的状态替换方式上：每次把最新块输出整体交给下一轮，早期计算只能通过最新状态间接保留，一次噪声迭代就可能污染后续传播。 此前的补救办法是衰减或层缩放，用来控制残差增长和更新幅度，但下一轮仍然只接收最新的循环状态。 在Sudoku-Extreme上，同样循环调度训练的两个检查点跑72次外层更新：carry-last的TRM在468层达到62.2%的峰值后，到1,872层降到58.1%；InfiLoop在同一深度区间继续上升至90.9%。
连接方式改为对历次循环输出做注意力聚合，让模型自己决定保留哪些中间状态，而不是默认最新输出最好。 聚合不再依赖最新状态这一唯一通道，而是维护一个包含早期输出的运行摘要，并学习每个新输出加入多少。 共享伪查询在每个候选产生时只打一次分，学习到的指数衰减降低旧候选权重；该聚合有精确的流式递推形式，每token只保留一个加权状态向量和一个归一化标量，持久内存不随循环次数增长。
聚合等价于一个自适应残差更新，步长由新候选的内容权重与保留的历史质量之比决定，因此低分候选被抑制、高分候选被接受。 固定指数平均同样能衰减更新，但没有内容打分，无法区分候选好坏。 在Sudoku-Extreme的1,872层设置下，去掉内容分数（训练时置零）准确率从90.9%降到84.1%，测试时置零降到84.8%，而把连接退化为carry-last只剩1.5%。
启示与展望
报道覆盖的是符号谜题（Sudoku-Extreme、Maze-Hard）与抽象视觉变换任务（ARC-AGI-1、ARC-AGI-2），模型为7M参数的嵌套循环推理器，训练沿用TRM的深度监督流程。深度扫描在Sudoku-Extreme固定测试样本上不重训进行，层评估数最高到24,960。适合关注测试时算力扩展与循环架构的研究者阅读。
内容分数与衰减的消融在Sudoku-Extreme的1,872层设置下完成，其他基准未报告同类消融。扰动实验在更新36注入相对扰动后继续展开36次更新。聚合状态保持在候选表示的凸包内，但要在任意多次迭代上给出统一界，还需要候选范数保持有界。