小模型当“怀疑者”给大模型踩刹车：DoubtLess 免训练解码砍掉 Qwen3-32B 三成思维链
核心概要
推理模型常在得出答案后反复检查，把思维链拖得很长。DoubtLess 让同词表的小模型分别以“直奔答案”和“逐步复核”两种指令读同一段思维链，把两者对数概率之差按强度加到 32B 大模型的输出上，只在解码时生效、不改权重。在七个竞赛数学、研究生科学与编程基准上，Qwen3-32B 由 Qwen3-0.6B 引导时思维 token 减少 31%，准确率不变，缩减幅度高于五种推理时基线。
深度剖析
推理模型写出的思维链里，有相当一部分是在答案已经出现之后重复推导和复核，DoubtLess 把这段冗余检查压掉，而不改动模型权重。 此前的缩短办法要么为每个模型重新训练，要么在提示里要求简洁、封禁 wait 一类词、按规则提前结束思维链，或在隐状态上叠加固定向量；这些做法可能连有用的推理一起削掉。 在竞赛数学、研究生科学与竞赛编程共七个基准上，Qwen3-32B 由 Qwen3-0.6B 引导时思维 token 减少 31%，准确率不变，缩减幅度超过五种推理时基线；在 AIME 2025 上封禁开启新一轮检查的词会掉 14 分，DoubtLess 不掉分。
引导方向来自一个小模型在同一段上下文下的两种“心态”之差，每一步都按当前文本重新计算。 小模型以“直奔答案”的简短思考者身份和“逐步复核”的冗长思考者身份各读一遍已写出的思维链，两个对数概率向量之差乘以强度后加到大模型的输出上。 对比只在思维链内生效，答案部分由大模型单独解码，结束标记与序列结束符的分数保留大模型原值，候选词也限制在大模型自己的 top-p 集合内；随机目标对照把同样的调整量随机分配给候选词，七个基准上思维长度只变化 1%。
被删掉的 token 主要落在正确答案首次出现之后，而不是解题过程本身。 把每条思维链在答案首次出现处切开后，DoubtLess 把答案之后的思考砍掉一半，答案之前只砍掉五分之一。 在 AIME 2025 的正确思维链上，小模型在两种指令下的下一词分布差异在答案之后比答案之前平均大七倍；AIME 2025 第 11 题中一次代数检查纠正了被误排除的根，说明必要检查仍被保留。
启示与展望
演示范围是 Qwen3-32B 配 Qwen3-0.6B 在七个英文基准上的单轮解码，外加 HumanEval+ 上的自调试编码智能体，以及 EXAONE-4.0 和 Granite-4.2 两个模型家族；引导强度取一个对所有模型对和基准都相同的值。
强度增大到一定程度后准确率会下降，在 AIME 2025 上取较大强度时掉了 7.8 分；换成更大的小模型会削掉接近 60% 的思维 token，但同样越过准确率保持的边界。在编码智能体上，DEER 削掉 41% 的思考并把通过率提高 4.5 分，多于 DoubtLess 的 20% 和 2.0 分。