思维链不必每题都开:按置信度分流,强信号下省三成推理且不掉准确率
思维链提示能提升复杂推理,却让简单问题也付出额外算力。谢菲尔德大学团队在四个免训练置信信号、三个模型家族和七个推理基准上检验“只在不确定时才推理”的分流,发现效果随模型与任务大幅波动,并把原因归结为置信分数饱和与难查询被优先送入思维链的选择偏差。他们提出的帕累托最优阈值选择在置信信号强的组合上把思维链使用量降低约30%而不牺牲准确率,在信号弱的组合上则退回接近全量思维链。
思维链提示能提升复杂推理,却让简单问题也付出额外算力。谢菲尔德大学团队在四个免训练置信信号、三个模型家族和七个推理基准上检验“只在不确定时才推理”的分流,发现效果随模型与任务大幅波动,并把原因归结为置信分数饱和与难查询被优先送入思维链的选择偏差。他们提出的帕累托最优阈值选择在置信信号强的组合上把思维链使用量降低约30%而不牺牲准确率,在信号弱的组合上则退回接近全量思维链。
把稠密Transformer层扩展成稀疏专家混合模型,让法律与生物医学各自拥有完整MLP专家,并用少量样本监督路由器按领域选择专家。在Llama-3.1-8B与Qwen-3-8B上,该方法在生物医学与法律领域的平均成绩均为最高,通用领域平均分也最高;每领域仅用256个样本监督路由器,适配后专业领域路由准确率为90–98%,未采用该监督的路由器为43–70%。
模块化装配中,机器人任务顺序必须满足装配先后约束,并在开工后条件变化时重排。约束感知遗传任务规划(CGTP)把初始化和变异都限制在满足先后约束的可行区域内,重规划时冻结已完成工序、只重算剩余任务图。在可穷举验证的八任务基准上,128个结构可恢复场景全部返回精确最优可行后缀,3个不可恢复场景全部被正确标记;在90个实例的语料上,各类扰动恢复率为0.881至1.000,且没有预算导致的搜索失败。
在三个独立队列的结构MRI上,阿尔茨海默病分类模型会把年龄当作捷径:年龄越大,被赋予的患病风险越高。把年龄效应在特征空间里做线性残差化(PMDN)后,认知正常与轻度认知障碍组的年龄—预测相关性降到接近零,平衡准确率0.71、Brier分数约0.22,且折间波动明显小于对抗训练方案CF-Net。事后校准进一步压低概率误差,但等渗回归与贝叶斯分箱这类非参数方法效果最好。
该研究在500M至7B四种参数规模、四种预训练数据混合、五种预预训练任务和最高100B token的预训练预算下系统评估合成预预训练(PPT),发现其下游性能与token效率收益在规模上持续存在(3B规模至少节省21B预训练token),但没有一致证据表明收益来自语法先验,收益只出现在能改善长程检索的PPT任务上,且对代码与数学占比不敏感、仅在缺少网页文本时消失。
已读完全部报道