# 循环语言模型

面向固定选项的决策模型通常一次前向就给出每个选项的概率，深度在训练时固定，简单题和难题花同样的算力。LEV 把主干换成预训练时就带循环的语言模型，每一步之后都读取选项并联合训练所有步，因此一个检查点可在任意深度作答；在 JevBench 上，2.6B 模型从深度一的 63.2% 升到深度四的 76.2%，增益主要来自难题。一个轻量停止器按问题决定深度，阈值在无标注请求上拟合，节省 15% 到 24% 的算力，代价不到一个准确率点。

面向固定选项的决策模型通常一次前向就给出每个选项的概率，深度在训练时固定，简单题和难题花同样的算力。LEV 把主干换成预训练时就带循环的语言模型，每一步之后都读取选项并联合训练所有步，因此一个检查点可在任意深度作答；在 JevBench 上，2.6B 模型从深度一的 63.2% 升到深度四的 76.2%，增益主要来自难题。一个轻量停止器按问题决定深度，阈值在无标注请求上拟合，节省 15% 到 24% 的算力，代价不到一个准确率点。

类型化决策模型过去只做一次前向传播就给出选项概率，算力固定，遇到需要多步推理的判定就吃力。SanSi把预训练时就带循环的语言模型改造成决策模型，每一轮循环都读出选项概率并用恰当评分规则训练，因此一个模型可服务从一轮到八轮的所有算力预算。在来自59个来源的10,027条测试决策上，它达到72.0%准确率，比同形状、同配方的非循环模型高13.5个百分点，比参数三倍于它的单次模型低1.8个百分点，代价是单次传播7.7倍的GPU时间。

类型化决策模型过去只做一次前向传播就给出选项概率，算力固定，遇到需要多步推理的判定就吃力。SanSi把预训练时就带循环的语言模型改造成决策模型，每一轮循环都读出选项概率并用恰当评分规则训练，因此一个模型可服务从一轮到八轮的所有算力预算。在来自59个来源的10,027条测试决策上，它达到72.0%准确率，比同形状、同配方的非循环模型高13.5个百分点，比参数三倍于它的单次模型低1.8个百分点，代价是单次传播7.7倍的GPU时间。