高能物理探测器数据压成离散词元：径迹与顶簇在约4–11倍压缩下守住1%喷注分辨率

高能物理的探测器数据现在可以先用学习到的离散词元表示，再交给下游模型使用，而不是始终以连续特征直接输入。 此前高能物理的先进方法直接处理连续输入，词元化只是为支撑骨干模型而顺带采用的部件，其自身代价没有被系统量化。 在四种探测器模态上，学习到的词元化在每一个比特率下平均绝对误差都优于逐特征均匀分箱的基线，并在首次达到1%喷注分辨率处也优于该基线。

词元化把每个探测器对象换成若干整数索引，解码器再据此重建该对象。 做法是残差向量量化变分自编码器，即用多个码本逐级量化上一级剩下的残差，把连续特征映射为有限词表里的索引。 训练覆盖两个模拟探测器的四种模态：JetSet 的带电粒子径迹，以及 COCOA 的径迹、顶簇和量能器单元，其中量能器单元按逐层图像切块处理。

报告面向做探测器数据建模与基础模型的研究人员和工程师，结论建立在两个模拟数据集上：JetSet 的带电粒子径迹，以及 COCOA 的径迹、顶簇和量能器单元。量能器单元的词元化在相对稠密32位像素时达到1.24%的喷注能量四分位距与中位数之比，仍略高于1%目标。词元化、扫描和评估以开源库 heptokens 提供，训练好的模型可导出词元索引和码本供下游复用。

四条设计规则只在本文研究的集合型模态和数据集上成立。味分类的词元化模型在每元素60比特时保留了连续特征拒绝率的73–93%，损失集中在高拒绝率尾部，并随比特减少而增大。量能器单元的词元化因事件更大，扫描只用了160万事件。连续生成解码器在当前规模上曾优于词元化目标，这一比较尚未在大数据量和多模态条件下做出。