时间序列预测不再从零训练:Mistral的209M模型在三大公开榜单登顶,CPU上140毫秒出一天预测
核心概要
Mistral发布首个时间序列基础模型系列Timestral,最大型号仅2.09亿参数,在GIFT-Eval、TIME和fev-bench三个公开预测基准上排名第一,参数只有此前最优模型的三分之二。它支持多变量概率预测与过去、已知未来协变量,四个尺寸覆盖500万到2.09亿参数,无需GPU即可推理,8线程服务器CPU上从三周15分钟粒度历史预测未来一天耗时10毫秒(5M)到140毫秒(209M)。
深度剖析
时间序列预测多了一个可直接拿来用的预训练基础模型系列,企业传感器、能源、供应链等场景的预测不必再为每个数据集单独训练模型。 经典ARIMA和线性回归通常只拟合单条序列、只从该序列历史学习;PatchTST等深度学习模型能跨多条相关序列学非线性模式,但仍需在每个数据集上从零训练,学到的内容无法迁移到新领域。 在GIFT-Eval、TIME和fev-bench三个公开预测基准上,Timestral在预训练零样本模型中五项指标全部第一,且结果来自单一检查点、未做集成;GIFT-Eval对比83个条目,TIME对比35个,fev-bench对比37个。
模型把相关序列放在一起联合预测,并直接接收类别型与已知未来协变量,输出的是分位数而非单点值。 逐传感器孤立预测会丢掉振动、温度、压力之间的相互解释关系,单点预测也无法表达不确定性宽度。 模型输出21个分位数作为概率预测;协变量按目标变量、仅过去协变量、已知未来协变量三种角色进入注意力,信息只从协变量流向目标,避免把目标自身的未来泄漏进预测。
训练数据以合成序列为主,先在大规模纯合成数据上以8192上下文预训练,再在真实与合成混合数据上以四倍长上下文后训练。 真实工业与金融序列在公开语料中覆盖有限,纯真实数据预训练难以覆盖多样的趋势、季节性与噪声形态。 合成阶段先生成具有连贯时间动态的单变量过程,再用多变量合成器在过程间引入非线性依赖;训练目标为21个分位数上的pinball损失,是CRPS的离散近似。
启示与展望
已展示的范围是预训练零样本预测:在GIFT-Eval、TIME和fev-bench三个公开基准的预训练零样本条目中排名第一,结果来自单一检查点、未做集成。四个尺寸为5M、28M、123M和209M参数,上下文长度32768个时间步,输出21个分位数,采用修改版MIT许可,可本地、VPC或隔离环境部署。推理测例为8线程标准服务器CPU、三周15分钟粒度历史预测未来一天。发布方表示已公开GitHub仓库以便在自有数据上运行,完整结果的技术报告将随后发布。
公开基准衡量的是通用表现,而生产数据在行为与结构上可能显著不同,并会随市场状态变化、设备退化与需求模式迁移而漂移,发布方把持续适配与再训练视为长期价值所在。合成数据占训练数据多数,真实与合成混合的后训练配比未在材料中给出。各尺寸的精度与延迟权衡以具体测例给出,28M比209M快五倍、123M在四分之三延迟下分数差0.2%以内,这些数字对应的是所述CPU测例而非全部部署环境。
