跳到主要内容
返回时间线
arXiv来源发表:

可微决策树不再靠几十个特征分流:欧氏集中正则把Wine节点有效特征从8.94压到1.54

核心概要

可微决策树保留显式路径和端到端训练,但每个内部节点的斜向软分裂可能同时依赖大量输入特征,削弱节点层面的可读性。EU-DDT在训练目标中加入归一化平方欧氏距离正则项,约束每个节点相对特征权重偏离均匀分布的程度,而不改动原有的sigmoid软路由。五个匹配随机种子上,Wine的平均有效特征数从8.94降到1.54、平均测试准确率从100.0%变为93.9%,Digits从45.28降到9.06、准确率从92.3%升到94.6%,呈现随数据集而异的集中度与性能权衡。

Source-provided article image: Improving the Intrinsic Interpretability of Differentiable Decision Trees through Euclidean Feature-Concentration Regularisation
arXiv

深度剖析

可微决策树的每个内部节点现在可以被推向由少数几个输入特征主导,同时保留连续软分裂和显式根到叶路径。 此前的可微决策树用斜向软分裂,一个节点的权重向量可以同时摊在多个输入维度上,节点决策依赖哪些特征并不清楚。 五个匹配随机种子的均值显示,Wine的平均有效特征数从8.94降到1.54,Digits从45.28降到9.06,且所有报告的变体在给定阈值下均未出现塌缩节点。

做法是在训练目标里加一项,衡量每个节点归一化后的绝对特征权重离均匀分布有多远。 这一项叫归一化平方欧氏集中正则,权重先归一化成特征份额,再取它与均匀分布的平方欧氏距离;L1和L2约束的是参数大小,不是节点内相对份额。 Wine和Digits上四个变体共享树深、叶表示、初始化和全批量Adam优化器,只改正则项,Wine用7个内部节点、Digits用63个内部节点,各跑五个随机种子。

同一机制也被用来直接参数化PPO的策略网络,让策略树的节点依赖更少的状态变量。 此前这类树策略同样面临节点依赖分散的问题,价值估计仍由单独的MLP评论家负责。 CartPole-v1和MiniPacman各跑两个随机种子,代表性运行中EU-DDT的最终评估成功率均为100%,平均节点集中度分别从0.1272升到0.7179、从0.0437升到0.7237。

启示与展望

演示范围限于Wine和Digits两个表格与图像数据集上的监督分类,以及CartPole-v1和MiniPacman两个环境中的PPO策略参数化;节点权重解释依赖统一的数据缩放策略,Wine用标准化、Digits用MinMax缩放,缩放参数只在训练集上拟合。

强化学习实验每个环境只用了两个随机种子,作者明确表示这只能评估方向一致性,不足以做统计推断;监督学习虽用五个种子,作者也指出更多重复和更广的数据集才能更可靠地估计方差与泛化性。可解释性分析基于树的结构属性和节点权重集中度,作者提出未来可用人类受试者评估或检验由节点导出的单特征规则的保真度。