跳到主要内容
返回时间线
arXiv来源发表:

混合变量实验不再只靠结构描述符:LLM排序先验加结构平滑,六项化学与材料任务在固定预算下更快逼近最优

核心概要

TagBO把大语言模型给出的候选排序当作任务相关的粗粒度先验,与结构描述符的局部平滑一起构成相似性图,在化学与材料配方等六项混合变量优化任务上,固定评估预算内更快找到高质量候选。

Source-provided article image: TagBO: LLM-Driven Task-Aware Graph Bayesian Optimization for Scientific Discovery
Figure 1 · arXiv

深度剖析

混合变量科学优化里,离散选项之间的相似性不再只由结构描述符决定,而是同时由任务相关的排序关系决定。 此前的贝叶斯优化方法通常用分子指纹、化学基团编码等结构描述符定义分类变量的相似性,隐含假设结构相近的候选在目标任务上表现也相近。 在药物、化学与材料科学的六项优化任务上,相同评估预算下TagBO的Step@95%值一致更低,说明它用更少评估逼近接近最优的解。

做法是让大语言模型先列出影响目标的关键因素,再按每个因素给候选排序,把排序向量当作任务相关的粗粒度关系信号。 这些排序信号不直接当作预测分数使用,而是与来自PubChem等外部数据库的理化描述符相似性一起,通过排序保持损失和图一致性损失联合学习一个精炼表示。 两个目标用多梯度下降算法自适应平衡,不需要人工设定固定权重;随后在拼接离散与连续变量的表示空间上做带可行性约束的高斯过程贝叶斯优化。

消融显示两类信息互补:只用LLM关系先验的变体早期表现强但后期趋于饱和,只用结构特征的变体全程偏弱。 把粗粒度关系引导与细粒度结构平滑合在一起,才同时获得较强的早期探索和后期精修。 在六个数据集上比较完整方法与两个缩减变体,完整方法通常用更少优化步数达到较强目标值,最终表现相当或更好。

启示与展望

报道覆盖的是化学与材料配方类混合变量优化:离散选项加连续参数,每次评估代价高。适用读者是从事实验设计、贝叶斯优化与自动化实验室的研究人员和工程师。真实场景验证限于热导胶配方,34次物理评估、每次约三天。作者提出后续用检索增强生成与领域知识整合来缓解LLM先验质量不足的问题。

方法效果取决于从LLM提取的任务相关关系先验质量;在相关科学知识稀疏、高度专门或预训练语料覆盖不足的领域,诱导出的序数关系可能变噪或与下游优化目标错位。理论分析聚焦表示层面的代理模型行为,未给出整个序贯优化过程的累积遗憾界。