随机划分上的95%区间出了训练范围就失效:七套工程数据上,硬偏移覆盖率跌到0.40–0.75
核心概要
工程回归的预测区间通常在随机划分上校准,而部署往往发生在训练条件之外。一项基准把七个公开工程数据集沿物理上有意义的偏移变量分成同分布、软偏移和硬偏移三级,用仅源域数据调参的方式比较五个族共12种不确定性量化方法。同分布下保形方法在每个数据集上覆盖率不低于0.946;硬偏移下,11种始终给出区间的方法平均覆盖率降到0.40–0.75,且检测不到方法排名的系统性差异。
深度剖析
工程回归的不确定性量化有了按部署偏移程度分级的对照:同一批数据集被沿固化龄期、玻璃面积比、环境温度、Froude 数、船速、故障模式或日历时间切成同分布、软偏移、硬偏移三级,而不是只做随机划分。 此前的回归不确定性量化比较依赖随机训练—测试划分,而随机划分让训练点与测试点按构造可交换,恰好是保形方法能给出覆盖保证、其他方法最容易校准的条件。 在七个公开工程数据集上,同分布一级四种保形方法在每个数据集上的覆盖率都不低于0.946,其中最低的是加权 CQR 在 C-MAPSS 上的 0.946。
偏移加重后,平均覆盖率掩盖了局部失效:软偏移下多数方法的平均覆盖率只小幅下降,但最差子组的覆盖率比均值低0.05–0.10。 平均覆盖率可以停在接近名义值,而某些运行区间被覆盖得少得多;对 Concrete、Yacht、Naval 而言,最差子组正是离源域最远的那部分目标。 深度集成平均覆盖0.91、最差子组0.81,高斯过程平均0.87、最差子组0.79,Split CP 平均0.89、最差子组0.79;只有宽度随偏移响应的 Conformal GPR(0.94与0.90)和加权 CQR(0.95与0.91)把差距压小。
硬偏移下,始终返回区间的11种方法平均覆盖率降到0.40–0.75,且 Friedman 检验检测不到方法排名存在系统性差异。 同分布一级这些方法还能接近名义覆盖,硬偏移一级则整体失守,且没有哪个族稳定占优。 五个外推数据集上11种方法的平均覆盖率为0.46,范围从0.00到1.00;两个条件偏移数据集上为0.81,范围0.53–0.99。
唯一在回答的点上保持接近名义覆盖的加权 CQR 靠弃权做到这一点,而弃权由有效校准样本量驱动,不是密度比估计误差。 在源域没有质量的外推区域,密度比无界,任何只从源域数据学习的方法都无法保证覆盖,弃权是加权保形预测的设计内响应。 硬偏移下它平均对85%的目标点弃权,五个外推数据集上平均弃权98%;在六个已知闭式密度比的软偏移数据集上,用精确权重的版本弃权28%,用估计权重的版本弃权26%,回答点上的覆盖率分别为0.94与0.95。
启示与展望
结论建立在七个公开工程回归数据集上,其中三个来自仿真器、一个来自拖曳水池试验,只有 Air Quality 是随时间推进的真实现场部署;每个数据集只有一个偏移变量和一个阈值,硬偏移一级把支撑外推、未见故障模式和时间部署归为同一操作严重度类别。
硬偏移一级混合了支撑外推与条件偏移两类机制,因此在外推与条件偏移数据集上分开报告;七个数据集让数据集级检验功效有限,Friedman 不显著只读作未检测到差异而非等价;加权 CQR 的回答覆盖率以回答为条件,在 Concrete 上仅基于每个种子约8个点。
