跳到主要内容
返回时间线
arXiv来源发表:

表格回归的目标函数被重新排了一遍:分位数损失在四个骨干上更稳,早停却卡在不同噪声区之间

导语

在41个表格数据集上按统一协议重评回归目标后,分位数损失在MLP、TabPack、RealMLP和TabM上比调好的均方误差给出更一致的测试RMSE改善,并暴露出不同噪声区域最优停止轮次不一致的问题。

AI-generated editorial illustration: Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping

正文

表格深度回归的目标函数选择被重新系统比较,分位数损失在多个骨干上比调好的均方误差给出更一致的测试RMSE改善。 此前替代目标各自在不同数据集、骨干和调参协议上评估,难以判断哪些替代能可靠超过均方误差。 在41个BeyondArena表格数据集上按统一协议调参并跨15个随机种子重训,分位数损失在MLP、TabPack、RealMLP、TabM上相对均方误差的增益分别为+0.55%、+0.46%、+0.40%、+0.58%。

不同目标噪声水平的样本会在不同训练轮次达到各自最好的预测表现,因此单一全局早停检查点会在这些区域之间形成折中。 标准全局早停只按平均验证误差选一个检查点,并统一应用到所有输入。 在训练目标加噪、验证与测试目标无噪的合成数据上,异方差版本按估计不确定性分组分别选检查点优于随机分组,而同方差对照版本反而变差。

一种带输入相关平滑的分位数损失扩展在若干骨干上超过标准分位数损失,且推理时不增加测试开销。 标准分位数损失虽然能表示异方差目标分布,却无法缓解共享停止点带来的区域间折中。 在28个训练样本不少于1000的数据集上,该扩展在MLP、TabPack、RealMLP、TabM上相对均方误差的增益分别为+0.66%、+0.25%、+0.82%、+0.97%,均高于同一组实验中对应骨干上的分位数损失增益+0.47%、+0.22%、+0.35%、+0.39%。

接下来

这项工作比较的是常规表格DNN骨干,预训练PFN不在范围内;评估使用BeyondArena的41个数据集并排除三个计算量过大的数据集,AdaQR的主比较进一步限定在训练样本不少于1000的28个数据集。代码与实验配置已在公开仓库提供,仓库说明称可据此下载数据集并复现实验。

作者指出对底层训练动态的理解仍不完整,AdaQR只是缓解停止冲突的一种可能方案,其收益随骨干和数据集变化。在真实数据上,按不确定性分组选检查点给AdaQR带来的改善小于给标准分位数损失带来的改善。AdaQR的理论刻画依赖高斯标签噪声、高斯预测、足够分位数分辨率与收敛到贝叶斯最优等假设,这些假设是理论框架而非经验成功的严格前提。

来源