跳到主要内容
返回时间线
AI Research | Salesforce Blog来源发表:

Salesforce开源GIFT-Eval-CTX:把促销、天气等前瞻信息喂给智能体,预测误差最多降四成

核心概要

Salesforce AI Research 开源了 GIFT-Eval-CTX,用来衡量预测系统能否把前瞻性业务上下文转成准确的数值预测。传统时间序列基础模型只吃历史数值,难以利用热浪、封路、软件发布这类已知的未来事件。该基准把上下文拆成宏观趋势与微观事件两层结构化效应,覆盖 20 个真实数据集的 1 万项任务;在历史数据之外加入结构化未来上下文后,GPT-5.6 Sol 的误差下降 40.7%,Claude Opus 4.8 下降 29.6%。

Source-provided article image: Introducing GIFT-Eval-CTX: An Open-Source Benchmark for Contextual Forecasting
Salesforce AI Research

深度剖析

预测系统现在有了一个公开的评测场,用来检验它能否把已知的未来业务信息变成数值预测,而不只是外推历史曲线。 传统时间序列基础模型主要接收数值历史和预设变量,面对文档、计划或专家判断里的开放式信息缺少统一接口。 GIFT-Eval-CTX 覆盖能源、物流、天气、零售和云运维等 20 个真实数据集的 1 万项任务,并专门挑选传统模型仅凭历史数据就会失败的测试窗口。

基准把未来上下文拆成宏观与微观两层结构化效应,让模型只需补出逐步数值。 宏观效应记录整个预测区间内的趋势方向、季节周期和取值边界,微观效应则定位具体时间窗口与幅度。 微观效应分为三类:临时尖峰或下跌的偏移、基线水平的永久平移、以及周期规律的改变;最终基准包含 23,476 条经校验的微观效应及对应的宏观区间标注。

把大语言模型与领域模型、代码执行组合起来的智能体系统,在各类预测长度上都取得最好成绩。 纯大语言模型在只给历史时不如传统预测模型,且在数值精度和输出长度上容易出错。 MoiraiAgent 的聚合误差比最好的仅用历史的预测模型低 36.3%,优势在更长预测上扩大;不加工具时,GPT-5.6 Sol 在中长任务中只有 38.9%–40.5% 给出正确预测长度,Claude Opus 4.8 不足 2.3%。

启示与展望

评测范围是 20 个真实数据集上的 1 万项任务,聚焦能源、物流、天气、零售和云运维等运营预测场景,面向需要把前瞻业务信息纳入预测的研究者与企业团队;基准、数据集和排行榜已开源。

纯大语言模型在数值精度和输出长度上仍不可靠,不加工具时正确长度比例很低;所报告的误差下降是发布方在自建基准上的聚合结果,材料未给出跨领域分别的表现。