循环推理不再只留最后一次输出：注意力残差让7M小模型在数独上撑到24960层，准确率还在涨

循环推理模型的状态传递规则被换掉了：下一轮不再只接收最新一次的输出，而是接收对历次输出加权求和后的状态。 此前的carry-last规则把每轮输出原样传给下一轮，早期计算只能通过最新状态间接保留，一次噪声迭代会污染后续传播。 在数独极端集上，carry-last的TRM在468层达到62.2%的精确准确率峰值，到1872层降到58.1%；同一深度区间内新连接持续上升并达到90.9%。

加权方式由内容打分和时间衰减两部分决定，并且可以写成只保留一个加权向量和一个归一化标量的递推式。 对全部历史输出做完整注意力需要保存每一步的表示，内存随迭代次数增长。 共享的伪查询在每个候选产生时只打一次分，学习到的指数衰减再压低旧候选的权重；该递推与完整加权求和代数等价，每个token的持久状态不随循环次数增长。

学习到的步长在解题瞬间跳升，解题后回落，未解出的题则一直保持压低。 若打分器对所有输出给等权，步长会收敛到0.56这一等权基线。 在更新13及以后解出的题上，解题前平均步长约0.40，解题那一步升到0.91，随后六次更新内回到0.56；解码全对的候选内容得分中位数为7.25，接近8.0的截断上界，错误格增多时得分单调下降。

报道覆盖的是符号谜题与抽象视觉变换任务：数独极端集、Maze-Hard、ARC-AGI-1与ARC-AGI-2，模型为7M参数的嵌套循环推理器，训练沿用TRM的深度监督流程。深度扫描在固定样本上不重训进行，层评估数从156到24960。持久状态为每个谜题582.8 KiB，与循环预算无关。

作者指出，聚合状态落在候选表示的凸包内，因此不会放大范数，但要在任意多轮上给出统一界，还需要候选范数本身保持有界。消融显示去掉内容打分会让准确率下降6到7个百分点，而把打分置零等价于carry-last时准确率降到1.5%，说明该连接与训练时的状态分布绑定。深度研究固定了监督段数与每段层数，只改变外层循环数。