思维链不必每题都开：按置信度分流，强信号下省三成推理且不掉准确率
核心概要
思维链提示能提升复杂推理，却让简单问题也付出额外算力。谢菲尔德大学团队在四个免训练置信信号、三个模型家族和七个推理基准上检验“只在不确定时才推理”的分流，发现效果随模型与任务大幅波动，并把原因归结为置信分数饱和与难查询被优先送入思维链的选择偏差。他们提出的帕累托最优阈值选择在置信信号强的组合上把思维链使用量降低约30%而不牺牲准确率，在信号弱的组合上则退回接近全量思维链。
深度剖析
让模型先直接作答并给出置信分数，只在分数低于阈值时再启用思维链，这条免训练的分流路线在部分模型上能省下可观的推理开销。 此前的何时推理方法多依赖强化学习或分类器，需要额外训练；免训练方案则主要只用困惑度一种信号，且置信信号能否可靠地充当开关此前并不清楚。 在GPT-OSS-20B与Qwen3-32B上，边际采样、困惑度或P(True)等信号明显优于随机分流，两者在匹配全量思维链准确率的同时把思维链使用量减少约30%，平均每查询省下70至100个token。
分流是否有效取决于置信信号能否把答对与答错的查询分开，而不是分数绝对值是否校准得准。 按直觉，校准误差小的信号应当更可靠；但GPT-5.1的口头置信与GPT-OSS-20B的边际采样校准误差几乎相同，分流表现却相差很大。 GPT-OSS-20B的边际采样AUROC为0.798，GPT-5.1的口头置信AUROC为0.604，前者分流效果明显更好；在Qwen3-8B与GPT-5.1上，没有任何置信方法在所有预算下稳定优于随机分流。
帕累托最优阈值选择在准确率容差内挑出token成本最低的阈值，使强信号组合真正省下算力，弱信号组合则安全地退回全量思维链。 此前的置信路由方法CAR用高斯拟合困惑度来定阈值，在Qwen3-32B上其最佳信号损失7.3%准确率；监督式MLP探针在各模型上损失2.5%至4.6%。 在1%准确率容差、10%校准集与100次蒙特卡洛重复下，Qwen3-32B用P(True)平均每查询省171个token，思维链使用量降26%对应延迟降23%；GPT-OSS-20B用边际采样或困惑度省约65个token，延迟最多降20%；GPT-5.1仅省1.5个token，阈值默认趋向全量思维链。
启示与展望
结论建立在四个免训练置信信号、Qwen3-8B、Qwen3-32B、GPT-OSS-20B与GPT-5.1四个模型，以及常识、知识、数学科学与软推理共七个基准之上；帕累托阈值需要同时含直接作答与思维链输出的带标签校准集。作者指出，校准集应覆盖目标任务的难度与多样性，广泛而中等难度的留出集足以支持阈值迁移。
作者说明口头置信只采用一种标准提示策略，采样更少或经训练改善的置信估计留待后续；与完全训练的何时推理模型以及保形风险控制的比较也未纳入，文中的优于基线仅相对于所评估的CAR与MLP探针。定性分析显示，多数模型上“多余思维链”占比最大，即直接答案已正确但置信偏低，进一步节省受限于模型对正确答案的置信低估。