流式部署的风险认证换了目标:StreamLTT把认证边界推到风险上限附近,误认证率仍贴近设定值
核心概要
流式部署中,固定策略的损失会随历史变化,原先按固定总体风险做认证的Learn-then-Test不再描述实际遇到的风险。StreamLTT把认证目标改为平均可预测风险,即每次决策前按已有信息取条件风险再沿流平均,并用条件中心化把经验偏差变成鞅和。在七个预测数据集与七种部署风险上,其方差自适应版本把认证前沿推到接近风险目标的位置,经验族错误率也贴近设定水平。
深度剖析
策略认证的目标从固定总体风险换成沿部署流平均的条件风险,使认证对象随每次决策前可获得的信息变化,而不再假设损失独立同分布或平稳。 标准Learn-then-Test针对由校准损失估计的固定总体风险,在损失相关且非平稳的顺序部署中,固定策略的风险会随已观测历史演化,单一平稳边际风险不再描述部署期间遇到的风险。 在七个真实预测数据集和七种部署风险、δ=0.10下,StreamLTT-A的平均风险间隙为0.0090,IID-LTT为0.0302,基于长期方差修正和循环块重采样的两种方法均为0.0300,经验族错误率为0.0902。
把每次损失减去其一步可预测风险后,经验风险与目标之差成为鞅平均,据此可以构造只依赖确定性损失上界的有限样本检验,以及依赖可预测二次变差的方差自适应检验。 条件中心化给出鞅差序列,使检验无需指定损失之间的依赖结构;有限样本版本只用损失上界,方差自适应版本则用沿流累积的条件方差做归一化。 在49个数据集与风险组合、每个配置2000次重复、δ取0.10和0.20的设置下评估;方差自适应检验需要可预测变差稳定假设,二元损失下用在线一步风险估计的插件估计量估计该变差。
策略级检验的p值与族错误率控制结合后,得到同时认证的策略区域,后续可从中选择部署策略而无需重新认证。 策略级检验处理沿部署流的依赖,族错误率控制处理候选策略之间的多重比较,两者分工后整个认证区域以至少1−δ的概率落在安全区域内。 在δ=0.10下,StreamLTT-A在全部49个组合中保留候选族的76.7%,平均经验族错误率为0.0902;δ升到0.20时经验族错误率升至0.1888,平均风险间隙从0.0090降到0.0078。
启示与展望
演示范围是七个真实预测数据集上的七种二元部署风险,覆盖能源、交通和温度预测,预测模型为冻结的时序卷积网络,候选策略族在认证前固定,损失有确定性上界;认证流按原始时间顺序逐条处理,只使用结果揭晓前的信息。
方差自适应检验的有效性依赖可预测二次变差按确定性尺度稳定这一假设,且为渐近保证;有限样本版本只依赖损失上界,但归一化反映最坏情形损失范围,因而偏保守,其经验族错误率在δ=0.10和0.20下分别只有0.0001和0.0006。可达到的认证前沿本身随数据集变化,例如Jena上的反向方向风险和若干流上的严重漏报风险。
