# 历史状态注入

该研究在受控预训练设置下系统考察循环语言模型（LoopLM）的循环何时有益、应放在何处以及如何条件化，发现超出训练视界的额外循环能提升推理表现（如某配置推理得分从28.52升至31.49）却使知识表现下降（从62.80降至52.11），非循环输出层可增强欠展开鲁棒性，而提出的历史状态注入（尤其通道式）结合时间步条件化能在扩展展开时更好地保留知识并提升跨推理预算的稳健性。

该研究在受控预训练设置下系统考察循环语言模型（LoopLM）的循环何时有益、应放在何处以及如何条件化，发现超出训练视界的额外循环能提升推理表现（如某配置推理得分从28.52升至31.49）却使知识表现下降（从62.80降至52.11），非循环输出层可增强欠展开鲁棒性，而提出的历史状态注入（尤其通道式）结合时间步条件化能在扩展展开时更好地保留知识并提升跨推理预算的稳健性。