跳到主要内容
返回时间线
arXiv来源发表:

时间序列基础模型不必每层都跑:中等稀疏下A100延迟降11%到13%,但各数据集有差异

核心概要

两个预训练时间序列基础模型在推理时跳过整块Transformer,在1088个留出窗口上跨数据集平均预测质量变化很小,中等稀疏下A100单条延迟中位数分别降11.2%和13.4%。

Source-provided article image: How Much Computation Does Every Forecast Need? Structured Block Skipping in Two Time-Series Foundation Models
Figure 2 · arXiv

深度剖析

预训练时间序列基础模型在推理时可以整块跳过部分Transformer,而不必对每个输入都跑满全部深度。 此前这类模型对每个输入执行固定网络,全局压缩则对所有输入统一缩小网络。 在ETTh1、Traffic、Weather、Exchange共1088个留出窗口上,Chronos-Bolt保留7/11个候选块、TimesFM保留16/20个块时,跨数据集平均相对预测质量变化很小,A100批大小1的延迟中位数分别下降11.2%和13.4%。

哪些块可以去掉由校准窗口上的贪心选择决定,被跳过的块在注意力与前馈计算之前直接返回输入。 选择只使用与评测窗口不相交的校准窗口,评测窗口不参与选择。 Chronos-Bolt是T5结构,第一个编码器块保留,块1到11为候选;TimesFM是仅解码器结构,20个Transformer块为候选;计数器确认未激活的块没有被调用,全部候选启用时与未改动模型的预测完全一致。

启示与展望

这项工作覆盖两个预训练模型、四个单变量基准和一个GPU型号。它确立的是延迟与吞吐收益,权重仍全部常驻,因此不涉及模型内存或能耗节省,也没有边缘设备基准。

更激进的TimesFM跳块会进一步加速推理,但明显损害Traffic和Weather;TimesFM在Traffic和Weather上活跃块低于80%时质量急剧下降。数据集专属掩码迁移不一致,Chronos的表征不支持可靠的未见域路由,因此机会存在并不等于可路由。