思维链不必每题都开:按置信度分流,强信号下省三成推理且不掉准确率
思维链提示能提升复杂推理,却让简单问题也付出额外算力。谢菲尔德大学团队在四个免训练置信信号、三个模型家族和七个推理基准上检验“只在不确定时才推理”的分流,发现效果随模型与任务大幅波动,并把原因归结为置信分数饱和与难查询被优先送入思维链的选择偏差。他们提出的帕累托最优阈值选择在置信信号强的组合上把思维链使用量降低约30%而不牺牲准确率,在信号弱的组合上则退回接近全量思维链。
思维链提示能提升复杂推理,却让简单问题也付出额外算力。谢菲尔德大学团队在四个免训练置信信号、三个模型家族和七个推理基准上检验“只在不确定时才推理”的分流,发现效果随模型与任务大幅波动,并把原因归结为置信分数饱和与难查询被优先送入思维链的选择偏差。他们提出的帕累托最优阈值选择在置信信号强的组合上把思维链使用量降低约30%而不牺牲准确率,在信号弱的组合上则退回接近全量思维链。
已读完全部报道