跳到主要内容
返回时间线
arXiv来源发表:

决策模型不再只跑一遍:同一批层循环八次,1.4B模型逼近三倍参数的单次模型

核心概要

类型化决策模型过去只做一次前向传播就给出选项概率,算力固定,遇到需要多步推理的判定就吃力。SanSi把预训练时就带循环的语言模型改造成决策模型,每一轮循环都读出选项概率并用恰当评分规则训练,因此一个模型可服务从一轮到八轮的所有算力预算。在来自59个来源的10,027条测试决策上,它达到72.0%准确率,比同形状、同配方的非循环模型高13.5个百分点,比参数三倍于它的单次模型低1.8个百分点,代价是单次传播7.7倍的GPU时间。

AI-generated editorial illustration: SanSi: A Looped Typed Decision Model for System 1.5 Thinking

深度剖析

同一批层被反复调用后,一个1.4B参数的决策模型在准确率上追近了参数三倍于它的单次模型。 此前的类型化决策模型只做一次前向传播,每个判定拿到的算力固定,调用方只能靠加大参数量或改成生成式推理来提升复杂判定。 在10,027条测试决策上,SanSi读到第八轮循环时准确率为72.0%,比同形状、同数据、同配方和同随机种子的非循环模型SmolLM2-1.7B高13.5个百分点,比参数三倍的Qwen3.5-4B低1.8个百分点。

循环带来的增益集中在需要把多条信息拼起来的判定上,而不是一眼可判的分类。 单次传播在分类任务上已经够用,增益最小;在多步推理、长文档和知识问答上,单次模型明显不足。 按类型拆分,分类只涨3.1个百分点,多步推理涨15.1、长文档涨16.7、句对涨14.2,只在测试集中出现的知识问答涨17.6个百分点;按与训练数据的距离拆分,分布内涨10.5、近迁移涨10.0、远迁移涨15.8个百分点。

每一轮循环都被读出并单独训练,使同一个模型能在任意算力预算下使用,而不是只在一个固定深度上可用。 若只对最后一轮循环施加损失,早期循环会塌陷,模型无法被提前读出。 只训练最后一轮时,第一轮准确率从58.4%掉到35.6%,第八轮低1.1个百分点;SanSi第一轮与单轮模型持平,第二轮加8.5个百分点,第三轮加3.5个百分点,三轮已给出从第一轮到第八轮总增益的88%。

循环让模型更容易察觉判定所依赖的证据缺失,但置信度在答案稳定后仍继续上升。 单次模型在证据被移除时仍会给出硬答案,且置信度无法区分有无证据。 在382条关键证据被移除的条目上,硬答案比例从第一轮的27.1%降到第八轮的17.5%,证据AUROC从0.835升到0.935;校准误差在第三轮最低(0.082),到第八轮回升到0.093。

启示与展望

结论建立在预训练即带循环的主干上,主要是Ouro-1.4B,另加Ouro-2.6B;把循环加到未预训练循环的同形状模型上,用同一配方训练得不到增益。循环以算力换准确率:八轮循环的判定约是Qwen3.5-4B的3.3倍GPU时间,四轮约1.6倍,SanSi-2.6B约6.3倍。推理深度的分析基于两个程序生成的任务,验证器案例只用一个数据集和一个生成器。测试套件为英文,由既有公开数据集拼成,条目类型配比是作者的选择,因此结果同时按类型和测试组给出。

增益依赖主干在预训练阶段就学会循环,这一族主干目前只有两个规模,向其他和更大的循环主干推广仍是待解问题。作者读固定轮数,把按条目提前停止的规则留作后续工作。校准只在第三轮之前改善,答案稳定后置信度继续上升,超过训练轮数继续运行会降低准确率。验证器案例只用一个数据集和一个生成器,用于说明循环的一种用法,而非总体评估其作为奖励模型的表现。作者也无法排除某个主干在预训练中见过这些公开数据集。