跳到主要内容
返回时间线
arXiv来源发表:

决策模型不再一次定答案:同一套权重循环加深,难题多算几步就多对13个百分点

核心概要

面向固定选项的决策模型通常一次前向就给出每个选项的概率,深度在训练时固定,简单题和难题花同样的算力。LEV 把主干换成预训练时就带循环的语言模型,每一步之后都读取选项并联合训练所有步,因此一个检查点可在任意深度作答;在 JevBench 上,2.6B 模型从深度一的 63.2% 升到深度四的 76.2%,增益主要来自难题。一个轻量停止器按问题决定深度,阈值在无标注请求上拟合,节省 15% 到 24% 的算力,代价不到一个准确率点。

AI-generated editorial illustration: LEV: Thinking Fast and Deep with Looped Decision Models

深度剖析

决策模型现在可以在同一套权重上按问题加算力:每多跑一次循环,模型就重新读一遍选项,难题因此能多算几步。 此前的决策模型一次前向就给出每个选项的概率,深度在训练时固定,简单题和难题花同样的计算;按文本生成推理的模型能想更久,但每一步都要付出解码 token 的代价。 在三个循环主干上,准确率随深度上升,增益主要集中在难题;2.6B 模型在 JevBench 上从深度一的 63.2% 升到深度四的 76.2%,第四个循环步对 Ouro 模型最多再加一个点。

按需深度让每个问题自己决定停在哪一步,难题多走几步,简单题早停。 固定深度只能整批地选择算力,而按标注数据上的置信度阈值早停,在决策模型上并不优于同成本的固定深度混合。 停止器预测当前答案是否已与最深答案一致,阈值在无标注请求上拟合;在留出面板上它比最深读数低不到一个点,却只花 76% 到 85% 的算力,锁定测试集上同样最多低 1.0 个点。

在低延迟区间,循环决策模型比同延迟的稠密模型和级联更准。 稠密选项在 22 到 79 毫秒之间没有模型作答,级联则要把不确定的问题从头再读一遍并多托管一个模型。 在锁定测试集上,1.4B 和 3B 模型在 50 毫秒以下比同延迟的稠密模型和级联高 5.4 到 8.8 个点;按浮点运算计,每个 LEV 模型都不高于稠密选项,因为每个循环步都跑整个主干。

启示与展望

研究覆盖 1.4B 到 3B 参数的循环主干,即公开可得的规模;JevBench 结果基于其 231 道公开题。按需深度的成本以循环步数计,延迟是在单张 H200 上逐条请求测得,未使用融合算子、图捕获或状态缓存。

停止器预测的是与最深答案的一致,而非正确性;有 12.6% 的 LevBench 问题某个较浅深度答对而最深读数答错,这类问题无法被该停止器找回。置信度区分“更深能修正的错误”与其余错误的能力有限,这限制了任何停止器相对固定深度前沿的领先幅度。更大循环主干上的深度曲线尚未测量。