同样准的模型给出不同建议:ORPM把最坏情况写进预算,树模型上联合有效率达62.5%
核心概要
当多个预测表现相近的模型对同一个人给出不同判断时,针对其中一个模型算出的补救建议可能在另一个模型上失效。ORPM把补救问题写成在预算约束下最小化竞争模型集合上的最坏情况失效损失,并用近似最优响应预言机与乘性权重更新交替求解,理论上在损失有界、预言机全局误差受控时收敛到近似均衡。在一个合成数据集和五个真实数据集上,线性、神经网络、混合与决策树竞争集合中多数设置取得较高联合有效率;COMPAS上五棵决策树、预算为5时联合有效率为62.5%,高于RobX约束版的46.0%。
深度剖析
补救建议现在可以针对一整组预测表现相近但架构各异的模型来优化,而不只是针对部署的那一个模型。 此前的稳健补救要么假设模型参数只在有界范围内变化,要么只覆盖线性模型或共享固定特征提取器的神经网络,要求模型在参数空间上彼此接近。 在一个合成数据集和五个真实数据集上,竞争集合分别由线性模型、神经网络、混合模型和决策树构成,ORPM在除GMC外所有数据集、所有预算下都取得高于ROAR、ElliCE和ADV的联合有效率。
求解把补救生成者与挑选最坏模型的对手之间的对抗写成一场零和博弈,每轮只需求解一个加权后的普通补救问题。 直接对所有竞争模型同时做最坏情况优化,在模型类别不同、损失非凸时难以处理。 每轮由近似预言机对当前模型分布返回一个补救,对手再用乘性权重把概率质量移向当前补救损失更高的模型;在损失有界且预言机全局误差受控时,响应分布的混合间隙收敛到近似均衡,凸情形下平均点也获得同样保证。
对决策树这类预测分段常数的模型,预言机改用混合整数规划联合编码所有竞争树。 树模型的输入梯度不提供有用的搜索方向,基于梯度的稳健补救方法无法直接套用。 在COMPAS上五棵深度为四的决策树、预算为5时,ORPM的联合有效率为62.5%,RobX约束版为46.0%,OCEAN式方法为43.0%,ADV代理版为14.5%,ROAR代理版为10.0%。
启示与展望
评估覆盖一个合成数据集和五个真实数据集,竞争集合包括线性、神经网络、混合与深度为四的决策树模型,补救成本采用标准化特征空间上的距离并固定不可变特征;结论限于这些数据集与所构造的竞争集合。
在竞争集合上表现良好并不总能保证对未见模型有效,MinL2在所见模型上常与ORPM相当,但在未见模型上只有0–2%的联合有效率;提高预算并不一致地缩小群体差距,GMC上ORPM的差距随预算从5增到10由36.7个百分点降到19.6个百分点,而COMPAS上随预算从1增到2由7.0个百分点升到16.5个百分点,且这些实验的置信区间常常较宽。
