科学知识不再只写进提示词:解码时逐层约束,三个科学任务平均准确率提升12%
核心概要
大模型在专业科学任务中仍会编造与领域规则相悖的推理依据。SciDC把自然语言写成的科学知识交给通用大模型编译成顶层推理步骤、中层条件校验和底层词元掩码三层规则,再由本地部署的领域模型在解码时执行。在工业配方设计、甲状腺癌TNM分期和单步逆合成三个任务上,与直接生成相比平均准确率提升12%;消融显示去掉顶层或底层规则后配方设计准确率明显下降。
深度剖析
科学知识被直接嵌入解码过程,而不是只作为提示词或后处理过滤器出现。 此前的提示词方法和参数微调方法都未能完全利用科学知识来保证推理的逻辑正确性,后处理过滤则假设模型在无知识引导时也能生成有用候选。 在工业配方设计、临床肿瘤诊断和逆合成规划三类任务上,与直接生成相比平均准确率提升12%。
规则按粒度分成三层,分别管推理骨架、条件逻辑和词元合法性。 顶层规则规定推理的宏观步骤顺序,中层规则做跨词元片段的条件检查并在不一致时局部重生成,底层规则直接改写解码器logits,把不在合法集合内的词元概率置零。 在Qwen3-14B的配方设计消融中,完整方法准确率为68.3%,去掉顶层规则降至24.0%,去掉底层规则降至25.3%,去掉中层规则为38.6%。
通用大模型只做一次知识编译,实际生成交给可本地部署的领域模型。 知识编译需要强泛化能力,下游生成需要学科基础和隐私保护,两类需求被拆给两个模型承担。 以Claude-3.5-Sonnet作为知识编译器,Qwen3-4B在配方设计上的有效率从无知识时的56.8%升到71.0%,Qwen3-14B从18.4%升到75.5%。
启示与展望
演示范围限于工业配方设计、甲状腺癌TNM分期和单步逆合成三类任务,以及LegalBench上的传闻证据判定;所有报告结果由全自动流水线产生,专家在环校验只作为诊断分析。
作者指出隐性领域知识难以编译,配方设计的一个失败案例中增塑剂比例上调后其他组分未同步调整,总质量分数超过100%;自动生成科学假设的初步验证未取得满意结果,且除专家评审外缺乏其他验证手段。
