Weihao Liu

该工作提出免训练的对比解码框架 LoopCD，把循环 Transformer 最终预测与更早一次循环的预测做对比来引导选词，分 logit 空间（多一次输出前向，LoopCD-Logits）与隐状态空间（零额外输出开销，LoopCD-Hidden）两种形式，在四个循环 Transformer 家族上于全循环深度取得一致提升，例如 LoopCD-Logits 把 Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提到 73.33%，LoopCD-Hidden 把 Huginn 的 HumanEval pass@1 从 22.56% 提到 31.71%，并因此可在把循环次数减半时仍匹配或超过全深度无引导基线

该工作提出免训练的对比解码框架 LoopCD，把循环 Transformer 最终预测与更早一次循环的预测做对比来引导选词，分 logit 空间（多一次输出前向，LoopCD-Logits）与隐状态空间（零额外输出开销，LoopCD-Hidden）两种形式，在四个循环 Transformer 家族上于全循环深度取得一致提升，例如 LoopCD-Logits 把 Ouro-2.6B-Thinking 的 AIME 2024 pass@1 从 61.88% 提到 73.33%，LoopCD-Hidden 把 Huginn 的 HumanEval pass@1 从 22.56% 提到 31.71%，并因此可在把循环次数减半时仍匹配或超过全深度无引导基线