跳到主要内容
返回时间线
Nature Machine Intelligence来源发表:

对撞数据不再一任务一模型:5亿模拟事件预训练,异常检测显著性达7.6σ

核心概要

高能物理分析长期为每个任务单独训练模型,EVENET把每次对撞表示成无序粒子云,用5亿个模拟事件做自监督加物理监督的两阶段预训练,再以可替换的任务头适配下游。在CMS开放数据的反孤立ϒ→μ+μ−搜寻中,完整预训练版本经校准后给出7.6σ的中位局部显著性,高于已发表的6.4σ;在重共振搜寻的质量网格上,其最大SIC相对从头训练平均提高约50%。

Source-provided article image: Foundation model for particle collision data analysis
Nature Machine Intelligence

深度剖析

对撞机分析开始出现可复用的共享主干:同一个预训练模型被接到分类、粒子归属、末态分割和扩散式重建等不同任务头上,覆盖新物理搜寻、开放数据异常检测和顶夸克对量子关联测量。 此前的做法是为每个分析单独设计模型,用专门构造的带标签模拟训练并独立验证;已有的对撞机基础模型多停留在单个喷注或少数下游任务上。 在X→YHSM重共振搜寻的(mX, mY)质量网格上,逐点微调的EVENET–Full在大部分网格取得最高灵敏度,其余位置与表格基线相当;网格平均的最大SIC相对EVENET–Scratch提高约50%,相对XGBoost提高20%,相对TabPFN提高10%。

预训练带来的收益在真实对撞数据上得到检验,而不只是在模拟上。 此前对撞机基础模型的验证多依赖模拟,在真实实验数据上的迁移检验很少。 在2016年CMS开放数据双缪子样本的反孤立ϒ→μ+μ−搜寻中,EVENET–Full经校准后中位局部显著性为7.6σ(区间7.6-0.4+0.4σ),高于已发表的6.4σ;EVENET–SSL为7.4σ,从头训练的EVENET–Scratch仅1.5σ,且其所需校准幅度为74.4%,远大于完整预训练版本的11.6%。

模型把每个事件当作无序的粒子云处理,主干是点–边Transformer,在注意力之外加入k近邻消息传递来利用局部几何结构。 预训练分两阶段:先做掩码粒子重建的自监督学习,再联合优化自监督生成、监督生成与过程分类目标,掩码比例从30%逐步升到100%。 预训练语料为约5×108个经预选保留的模拟标准模型事件,覆盖QCD、t tbar、W/Z+jets、双玻色子和HSM(WW*)等十个过程类别,且不按截面加权;模型训练在512块NVIDIA A100上耗费约105 GPU小时,下游微调通常只需数到数十GPU小时。

启示与展望

演示范围是四个下游设置:X→YHSM质量网格搜寻、CMS开放数据反孤立ϒ再发现、HSM→aa→4b异质希格斯搜寻和双轻子顶夸克对量子关联测量;预训练样本不含堆积,质量网格基准因此同时检验堆积与探测器响应差异带来的域偏移。

作者指出EVENET尚不是完整的不确定性感知框架,探测器系统误差与理论误差的显式建模和传播仍需另行处理;不同任务头的预测之间没有被显式约束为相互一致;在显著模拟–数据失配下的系统压力测试尚未进行;潜空间组织与可解释性分析留待后续工作。