工程设计中，仿真与实验昂贵，可用的已评估设计往往只有10到1000个。GenPFN不训练新生成器，而是用权重固定的TabPFN分类器读取已标注设计，在期望设计之间插值，再用分类器梯度与高斯噪声更新候选，每个候选都要经过问题本身的约束和目标函数评估。在14个工程问题上，GenPFN v1的类别满足率高于所测CTGAN、TVAE和TabDDPM，真实度距离更低；在船尾案例中，1000个候选有993个通过几何检查并达到螺旋桨安装面积要求，而2000个随机上下文设计里只有28个达到。
工程设计中每个研究只有几十到几百次仿真，且每次网格各不相同，传统代理模型必须为每个数据集重新训练。PhysICL 只在一个程序化先验上预训练一次，推理时把若干带标签的仿真当作上下文，在一次前向传播中直接在每个查询自身的非结构网格节点上给出场预测及其分位数，权重保持不变。在五个预训练未见过的 PLAID 数据集上，其场误差随上下文增大而下降，并在上下文达到一定规模后低于最近的上下文仿真；在百万节点级的 AhmedML 表面上，峰值显存仍为 4.27 GiB。
TabOmics是一个仅7.3M参数、只用合成表格预训练的开放表格基础模型，推理时把预处理后保留的全部特征一次性联合处理，不需要按特征抽样或压缩。在三个高维小样本基准共46个分类任务上，八成员集成的TabOmics v2.5取得0.943的平均AUROC，高于八成员TabPFN-3.5的0.942；单成员版本为0.941，与后者无显著配对差异，但单次前向的耗时约为其五倍。
Imbue把部署时才拿到的外部知识接入已训练好的贝叶斯实验设计策略，无需重新训练：用户给出的先验和以往实验的观测都被编码成额外输入令牌，由同一个Transformer与已积累的观测一起处理，可靠性过滤器再按当前观测给每个令牌打分并剔除不一致者。在四个基准上，外部知识可靠时它加快早期信息获取，不可靠时则接近无外部输入的基线。
预训练时间序列基础模型Chronos-2被检验能否替代电力系统动态仿真。在IEEE 9节点系统的1800个负荷扰动样本上，检索增强的上下文学习优于随机选取参考样本，微调后的Chronos-2在178个留出样本上误差低于传统时空图神经网络基线，加入功率平衡正则后除电压相角MAE外各项指标进一步改善。其推理耗时35.5毫秒，比ANDES物理仿真的20秒快563倍。
癌症结局的组学预测通常先把样本划入离散祖先组、再在组内单独建模，但预测精度会随样本与训练集的遗传距离连续下降。DA-ICL把祖先信息当作连续变量，用主成分分析把基因型投影到低维空间，在每个祖先点上以邻近样本构成上下文，让预训练的表格基础模型在推理时直接给出预测，并用分布感知的上下文增强补充远处但分布相近的样本。在TCGA三种癌症、三种组学模态与两个临床终点的18项任务上，DA-ICL在非洲祖先样本上于10项取得最高平均AUROC，优势随任务而变。
细胞对扰动的响应由扰动身份、细胞类型、供体和剂量等多个实验变量共同决定，每个已测细胞群只占据这个多维条件空间的一个坐标。以往方法要先给出这些变量的显式表示，遇到训练中没出现过的取值就难以泛化。RELAY改为从与目标共享部分变量的已测对照—扰动细胞对中推断，只告诉模型共享了哪些变量、不提供变量取值；在化学、遗传和细胞因子扰动数据上，它在未见变量取值设定下优于STACK、scGen和TabPFN，在未见组合设定下优于受监督方法，PBMC-3D上PDCorr为0.495，而最强受监督基线STATE为0.225。
单细胞注释长期把细胞身份（谱系）与状态（活跃转录程序）分开处理，固定输出头的分类器也只能给出预设类型。CellScribe用AdaLN适配器把冻结的单细胞基础模型嵌入接入预训练语言模型，让同一个模型按提示生成本体标注的细胞类型或带活性分数的元程序谱。在CELLxGENE的309类、444万细胞留出研究划分上，完整流程的宏F1为0.223、加权F1为0.484，均高于冻结scFoundation嵌入探针的0.194和0.366；在3CA留出研究的恶性细胞上，标志准确率为0.344，探针为0.227。
组合扰动实验的配对数量随扰动数平方增长，绝大多数组合无法测量，而组合的转录响应往往不等于两个单扰动效应之和。GrnPFN 先在随机基因调控网络生成的模拟筛选中预训练，直接预测这一非加性残差，再通过上下文学习纳入已测配对而不更新权重。在五个单细胞筛选上，目标筛选没有任何已测配对时，其合并余弦相似度比在其他筛选上训练的梯度提升高 0.049（97.5% 置信区间 0.038–0.060）；已测配对增多后，拟合到同一批配对的核岭回归追平。
英伟达发布预训练关系基础模型Kumo Relational，它直接在企业关系数据库上做预测，无需任务特定训练、特征工程或把多表展平成一张宽表。模型在15个数据库的41项任务上超过监督式关系深度学习模型和专家特征工程加梯度提升树的流水线，并在SAP SALT企业基准上把平均倒数排名（MRR）比AutoGluon集成高出8%。预测以声明式查询给出，模型在推理时用历史样本作为上下文完成一次前向计算。