跳到主要内容
返回时间线
arXiv来源发表:

冻结的表格基础模型当候选生成器:船尾设计里可装螺旋桨的候选从1.4%升到99.3%

核心概要

工程设计中,仿真与实验昂贵,可用的已评估设计往往只有10到1000个。GenPFN不训练新生成器,而是用权重固定的TabPFN分类器读取已标注设计,在期望设计之间插值,再用分类器梯度与高斯噪声更新候选,每个候选都要经过问题本身的约束和目标函数评估。在14个工程问题上,GenPFN v1的类别满足率高于所测CTGAN、TVAE和TabDDPM,真实度距离更低;在船尾案例中,1000个候选有993个通过几何检查并达到螺旋桨安装面积要求,而2000个随机上下文设计里只有28个达到。

Source-provided article image: GenPFN: An In-Context Tabular Foundation Model Approach for Augmenting Small Datasets in Engineering
arXiv

深度剖析

小样本工程设计的数据扩充不再需要先训练一个任务专用的生成模型,候选可以直接由已评估设计的标签引导产生。 此前的表格生成器如CTGAN、TVAE和TabDDPM要先在少量样本上训练,随机采样则容易把评估预算花在目标区域之外。 在14个工程问题的配对比较中,GenPFN v1的类别满足率分别比CTGAN、TVAE和TabDDPM高69.54、36.90和44.25个百分点,调整后比较显著;TVAE的覆盖距离更小、多样性更高,CTGAN的多样性也更高。

生成过程从两个已标注为期望类别的设计之间出发,让冻结分类器的梯度把候选推向更高概率,噪声则保证候选散开。 分类器权重在整个采样过程中保持不变,上下文只提供已评估设计及其类别标签,不需要针对新问题重新拟合。 候选在归一化坐标中先做插值并加一次扰动,随后进行100次更新,每次按阈值决定是否施加梯度并始终加入高斯噪声;在船尾案例中,1000个候选的采样耗时11.97秒,几何评估耗时0.80秒。

生成之后必须用问题自身的约束和目标函数评估,只有可行的期望类别设计连同其目标值才进入回归训练集。 生成一个设计向量本身并不提供回归所需的目标值,因此每个候选都要经过外部评估才能用于扩充数据。 在已观测到的配对回归拟合中,加入GenPFN v1候选使AutoGluon验证均方误差相对仅用上下文训练降低62.1%(逐点95%置信区间48.2%至72.2%),基于1960个匹配上下文。

启示与展望

评估覆盖14个选定的工程问题,包括两参数基准和44参数船体问题,以及一个以第17行CSOV_X_Mod.csv船体为父本的船尾概念验证;船尾结果只描述一个父本、一个上下文和一轮获取,而不是优化研究。

采样系数由作者选定,未做系统超参数优化;在100次更新时,GenPFN v1相对插值加噪声的可行性差为1.61个百分点,逐点区间跨零,调整后检验未确立整体优势;v3与v1的可行性差为0.0025个百分点,区间同样跨零。