模型无关的在线证书驱动校准框架,让卷积、注意力与LLM预测器在协变量与概念漂移下更稳定准确
核心概要
该工作提出一种模型无关的在线鞅PAC-贝叶斯框架,用鞅集中不等式替代独立样本集中,在时间依赖与分布漂移下给出有限样本证书,并将该证书作为代理正则项,在固定预测骨干上训练门控残差贝叶斯头进行在线校准,采用先预测后更新的协议,在卷积、注意力与基于大语言模型的预测器上改善了协变量与概念漂移下的稳定性与准确度。
Figure 1: The left plot illustrates the offline training stage, while the right plot depicts the online calibration stage, in which predictions are generated first and the Bayesian head is updated afterward, ensuring causal validity.
arXiv深度剖析
提出模型无关的在线鞅PAC-贝叶斯框架,在时间依赖与分布漂移下给出有限样本证书。 标准PAC-贝叶斯域适应分析依赖独立采样与分布稳定性假设,而时间序列中的序列依赖与非平稳漂移会违反这些假设;该框架以鞅集中替代独立样本集中,并适应损失尺度与可预测变化。 摘要层面给出框架设计与证书构造思路,并说明其针对的假设缺口;具体定理形式、样本量与数值未在文本中给出。
将证书用作在线校准的代理正则项,在固定预测骨干上训练门控残差贝叶斯头,门关闭时回退到骨干预测。 把可计算证书从分析工具转为训练信号,使校准模块与骨干解耦,从而对卷积、注意力与LLM类预测器通用。 文本描述了门控残差头与回退机制的结构,属于方法设计层面的证据。
在线校准由源风险锚、后验漂移惩罚与时间自适应失配项组成,失配项由预测前观测到的目标窗口计算。 将源风险、后验漂移与目标窗口失配三类信号组合进在线更新,并采用先预测后更新的协议,即结果仅在预测后可得并用于更新后续预测。 文本明确列出三项组成与协议顺序,未给出各项权重或消融结果。
在卷积、注意力与基于大语言模型的预测器上,实验显示协变量与概念漂移下的稳定性与准确度提升。 跨三类骨干的验证表明方法不绑定特定模型结构,支持其模型无关主张。 摘要报告了跨骨干的实验结论,但未提供数据集、指标数值或统计显著性信息。
启示与展望
该框架面向部署动态与训练条件不一致的时间序列预测场景,适用于存在协变量漂移、概念漂移与序列依赖的在线设定,并采用先预测后更新的协议,即结果在预测后才可得。其模型无关设计意味着可搭配卷积、注意力与基于大语言模型的固定预测骨干,通过门控残差贝叶斯头进行校准,门关闭时回退到骨干预测。证书由源风险项、源到目标失配项与复杂度项构成,并以鞅集中适应损失尺度与可预测变化,因此适合需要有限样本可靠性陈述的在线预测任务。
文本为摘要级信息,未给出定理的具体形式、样本量、数据集名称、评价指标数值与消融结果,因此证书在实际序列长度与漂移强度下的紧致程度、三项校准信号各自的贡献、门控机制在何种漂移模式下更有效,仍是需要阅读全文才能确认的开放问题。跨卷积、注意力与LLM骨干的改进幅度与统计显著性也未在文本中量化。
