跳到主要内容
返回时间线
arXiv来源发表:

实验设计策略学会临场听劝:Imbue把专家先验与旧实验数据变成可丢弃的输入令牌

核心概要

Imbue把部署时才拿到的外部知识接入已训练好的贝叶斯实验设计策略,无需重新训练:用户给出的先验和以往实验的观测都被编码成额外输入令牌,由同一个Transformer与已积累的观测一起处理,可靠性过滤器再按当前观测给每个令牌打分并剔除不一致者。在四个基准上,外部知识可靠时它加快早期信息获取,不可靠时则接近无外部输入的基线。

Source-provided article image: Amortized Bayesian Experimental Design with In-Context Knowledge Conditioning
arXiv

深度剖析

已训练好的贝叶斯实验设计策略现在可以在部署阶段接收外部知识,而不必重新训练;这些知识以额外输入令牌的形式进入同一个Transformer,与已积累的实验观测一起被处理。 此前的摊销式贝叶斯实验设计策略在训练先验下按期望最优,没有输入通道让实验者提供关于当前实验的额外信息,要吸收这类信息只能重新训练。 在CES任务上,把以往实例仅在部署时拼接进历史的ALINE*在相关与不相关两种输入下都低于原始ALINE,说明未经训练的拼接会扰乱策略。

一个可靠性过滤器按当前已积累的观测为每个外部令牌打分,并剔除与观测不一致的令牌,使策略在外部信息不可靠时不至于被拖离观测支持的方向。 直接把外部输入拼接进策略会带来负迁移:用户先验可能把概率质量放在参数空间的错误区域,以往实例可能来自与当前对象不匹配的群体。 在CES上,Imbue在相关实例下超过ALINE,在不相关实例下仍接近ALINE;分阶段消融显示,混合可靠与不可靠输入的训练加上实例令牌接口已带来大部分增益,过滤器进一步改善有偏和不相关输入下的平均sPCE。

在心理物理任务上,Imbue利用以往被试的实例通道,而经典方法并不原生接受这类输入。 作为无外部输入参照的ALINE、QUEST+和Psi-marginal都不具备这一输入通道。 在相关以往实例下,Imbue从第二步起在阈值–斜率边缘上的联合RMSE低于无外部基线;在不相关实例下则紧跟无外部基线。

启示与展望

演示范围限于四个标准贝叶斯实验设计基准上的模拟实验:位置定位、CES、一维GP主动学习和心理物理任务,外部知识以逐参数直方图先验或以往实例的设计–观测序列形式提供。

先验以逐参数边缘形式进入,参数之间的依赖关系没有被表示;似然、设计和观测空间被假定留在训练任务族内;过滤器在最初几轮较不可靠,因为实验历史有限,难以区分有用与误导性的外部输入。