# ARC-AGI-2

循环Transformer在测试时反复执行同一共享块来加深推理，但常用的“直接传递上一次输出”规则会让后续迭代覆盖已经正确的中间结果。InfiLoop把这一规则换成对历次循环输出的学习式注意力聚合：共享伪查询给每个候选打分，学习到的指数衰减压低旧输出权重，聚合结果以精确流式递推实现，每token只需一个加权状态向量和一个归一化标量。在Sudoku-Extreme上，7M参数模型达到97.9%精确准确率，超过FPRM的94.2%；在1,872层时达到90.9%，而FPRM要到3,744层才有90.1%。

循环Transformer在测试时反复执行同一共享块来加深推理，但常用的“直接传递上一次输出”规则会让后续迭代覆盖已经正确的中间结果。InfiLoop把这一规则换成对历次循环输出的学习式注意力聚合：共享伪查询给每个候选打分，学习到的指数衰减压低旧输出权重，聚合结果以精确流式递推实现，每token只需一个加权状态向量和一个归一化标量。在Sudoku-Extreme上，7M参数模型达到97.9%精确准确率，超过FPRM的94.2%；在1,872层时达到90.9%，而FPRM要到3,744层才有90.1%。

该工作提出 Allspark 训练与推理框架：训练时让一个弱教师模型与同源冻结副本交替续写同一段推理链、由冻结副本给出最终答案，仅用弱模型 rollout 更新教师；推理时把冻结副本换成更强的学生模型并保持双方权重不变，在 Qwen3-1.7B/4B 的数学与推理任务以及 Inkling-Small 教师对 Inkling、Kimi-K2.6、Nemotron-3-Ultra 的 ARC-AGI-2 评测中观察到准确率提升，并给出准确率与保留 token 的权衡刻画。

该工作提出 Allspark 训练与推理框架：训练时让一个弱教师模型与同源冻结副本交替续写同一段推理链、由冻结副本给出最终答案，仅用弱模型 rollout 更新教师；推理时把冻结副本换成更强的学生模型并保持双方权重不变，在 Qwen3-1.7B/4B 的数学与推理任务以及 Inkling-Small 教师对 Inkling、Kimi-K2.6、Nemotron-3-Ultra 的 ARC-AGI-2 评测中观察到准确率提升，并给出准确率与保留 token 的权衡刻画。