跳到主要内容
返回时间线
arXiv来源发表:

日历特征怎么编码不再是细节:同一模型换编码,节假日误差差出83%

核心概要

时间序列基础模型已普遍支持协变量,但日历信息如何编码一直被视为实现细节。该研究在四个模型、九个受节假日和周末影响的数据集上零样本滚动评测七种日历编码,发现编码选择在所有模型上都改变预测精度:同一模型内,非节假日MASE差距最高9.9%,节假日最高83%,且哪种编码最好因模型而异。SHAP归因显示提升集中在节假日,因为那里的信号无法从目标历史推断。

Source-provided article image: On the Encoding of Calendar Features in Covariate-Informed Time Series Foundation Models
Figure 2 · arXiv

深度剖析

日历协变量的编码方式会改变时间序列基础模型的预测精度,而不是一个可以随意固定的实现细节。 此前协变量编码被当作实现细节,缺少系统比较;现有基准对每个数据集只固定一种编码,因此无法判断协变量带来的性能变化来自信息本身还是来自表示方式。 在四个模型、九个数据集上的零样本滚动评测中,同一模型内最好与最差编码的MASE差距在非节假日为4.8%到9.9%,在节假日为44%到83%。

编码的效果和模型对它的利用方式因模型而异,没有一种编码在所有模型上都最好。 Chronos-2、TabPFN-TS-3和TiRex-2在目标编码下表现最好,而TimesFM-3的最佳结果并非来自目标编码;TiRex-2对包含两个及以上协变量的编码几乎没有改善甚至变差。 在节假日窗口上,28个模型与编码组合中有26个因加入协变量而改善,只有TiRex-2使用one-hot加二值节假日和cyclic加二值节假日两种组合例外。

SHAP归因把日历协变量的贡献与自回归部分分开,解释了为什么某些模型与编码组合会变差。 此前SHAP分析只覆盖Chronos-2和TabPFN-TS,这里扩展到TiRex-2和TimesFM-3,并利用基础模型可接受任意上下文长度的特点直接屏蔽特征组,而不需要用背景数据填补缺失特征。 在节假日上所有模型给日历特征的权重都明显高于非节假日;TimesFM-3比Chronos-2更依赖日历特征,但在两种被展示的编码下反而差于其无协变量版本。

启示与展望

评测覆盖四个时间序列基础模型、九个来自能源、交通、交通流量和用水领域的数据集,每个数据集提供一年小时级测试数据,全部在零样本滚动设置下运行,上下文长度8192、预测步长24小时。作者指出这些数据集都不在所用模型的预训练语料中。结论适用于目标受节假日和周末等日历效应影响的预测任务;作者明确表示,对于主要由太阳辐照度或温度等连续外因驱动的问题,不预期有类似收益。作者提出的下一步是把编码作为显式实验因子重新审视现有基准,并探索从上下文数据驱动地选择编码。

所有实验使用8192的上下文长度,约合小时级数据49周;作者指出超过一年的上下文值得关注,因为人类行为常遵循年度周期。全部数据集为小时级分辨率,其他分辨率有待验证。作者还报告,在上下文长度2048的第二次运行中结论得到确认。此外,Chronos-2和TiRex-2在把真实目标作为已知协变量时MASE仍约为0.30,说明节假日协变量的收益不仅受信息含量限制,也受模型利用信息的能力限制。