反馈延迟又占内存,在线风险控制怎么撑住:CA-OCRC 用随机代理延迟,容量只需随最大延迟对数增长
核心概要
在线保形风险控制此前默认每轮损失都能及时、无损地拿到,但真实系统里反馈会延迟,跟踪待定预测的容量也有限,部分反馈因此永久丢失。CA-OCRC 把“跟踪哪些轮、跟踪多久”和预测集构造放在一起设计:每轮抽一个随机代理延迟,容量允许就跟踪到反馈到达或代理延迟到期,再用两级逆概率加权补偿丢失的反馈。理论分析给出任意延迟与随机延迟下的风险界,并据此优化代理延迟分布;在优化设计下,容量只需随最大延迟对数增长,就能达到无限容量 OCRC 的收敛速率。
深度剖析
在线保形风险控制开始把“跟踪反馈的容量”当成需要分配的资源,而不只是把延迟当作晚到的标签。 此前的在线保形风险控制及其延迟反馈扩展默认所有待定反馈都会被一直跟踪到到达,相当于跟踪容量不受限;另一端的间歇式方案只跟踪当前一轮,容量为一。 风险界显示,跟踪概率越大收到的反馈越多,但跟踪负载上升、容量饱和的概率也随之上升,这一权衡在任意延迟与随机延迟两种设定下都出现在界中。
做法是给每一轮抽一个随机代理延迟,由它决定这一轮是否进入跟踪、以及最多跟踪多久。 代理延迟是一个按待设计分布独立抽取的随机时长,容量允许时该轮被跟踪到反馈到达或代理延迟到期,到期即被逐出,从而把有限的跟踪名额让给新轮次。 阈值更新采用两级逆概率加权:一级补偿代理延迟带来的随机逐出,另一级补偿延迟超过最大代理延迟而永远收不到的反馈;在肿瘤分割、开放域问答、层次图像分类和波束选择四类任务上,跟踪负载被保持在容量以下。
启示与展望
演示范围是肿瘤分割、开放域问答、层次图像分类和无线波束选择四类任务,延迟由自回归伽马模型生成,分别覆盖独立同分布与时间相关两种情形;结论针对长期平均风险逼近目标水平,而非单轮保证。
随机延迟下的精细风险界依赖延迟独立同分布这一假设;当延迟时间相关时,按独立同分布设计的代理分布不再被该定理覆盖,实验中其风险会随相关时间变长而偏离目标水平。
