约束解码并非推理杀手:同提示同格式下,有效性约束最多带来17.4%提升
约束解码常被认为会损害大模型推理,但把提示与期望输出格式对齐后,因果消融显示性能落差主要来自提示层面的差异,而非解码器掩码。研究把约束分为格式、有效性与推理三类,在四个模型家族、十一个开源模型上比较;有效性约束通过剔除非法答案带来最稳定的收益,最高达17.4%,推理约束只在被强制的推理轨迹本身有益时才提升准确率。
约束解码常被认为会损害大模型推理,但把提示与期望输出格式对齐后,因果消融显示性能落差主要来自提示层面的差异,而非解码器掩码。研究把约束分为格式、有效性与推理三类,在四个模型家族、十一个开源模型上比较;有效性约束通过剔除非法答案带来最稳定的收益,最高达17.4%,推理约束只在被强制的推理轨迹本身有益时才提升准确率。
大模型在专业科学任务中仍会编造与领域规则相悖的推理依据。SciDC把自然语言写成的科学知识交给通用大模型编译成顶层推理步骤、中层条件校验和底层词元掩码三层规则,再由本地部署的领域模型在解码时执行。在工业配方设计、甲状腺癌TNM分期和单步逆合成三个任务上,与直接生成相比平均准确率提升12%;消融显示去掉顶层或底层规则后配方设计准确率明显下降。
长跑智能体的上下文管理此前每一步都要调用通用大模型,慢且贵。ScaleDown的受限解码模型(CDM)只做单一任务,只返回该任务允许的答案,因而可以更小更快更省;LangChain与Deep Agents新增集成,内置摘要、工具结果压缩和结构化抽取三个中间件,LangSmith LLM Gateway也把ScaleDown列为直接模型提供方,调用可被追踪并计入额度。ScaleDown自报其模型在这类窄任务上比前沿模型快200倍、便宜467倍。
已读完全部报道