循环推理不再只留最新状态：注意力残差让7M小模型在近2.5万层仍保持解
循环Transformer在测试时反复执行同一共享块来加深推理，但常用的“直接传递上一次输出”规则会让后续迭代覆盖已经正确的中间结果。InfiLoop把这一规则换成对历次循环输出的学习式注意力聚合：共享伪查询给每个候选打分，学习到的指数衰减压低旧输出权重，聚合结果以精确流式递推实现，每token只需一个加权状态向量和一个归一化标量。在Sudoku-Extreme上，7M参数模型达到97.9%精确准确率，超过FPRM的94.2%；在1,872层时达到90.9%，而FPRM要到3,744层才有90.1%。