跳到主要内容
返回时间线
arXiv来源发表:

双曲多分类的隐式偏差被证明由Busemann风险支配:漂移系数决定嵌入逃向理想边界还是退回内部

核心概要

该工作研究固定类原型下双曲多分类的Riemannian梯度流的隐式偏差,利用大半径处距离分解为径向项与Busemann方向项,证明径向二分性(漂移系数符号决定半径趋向理想边界还是返回内部)以及边界方向收敛到Busemann风险的临界点,并刻画了理想边界上的渐近分类器与决策边界。

Source-provided article image: The Implicit Bias of Hyperbolic Representation Learning for Multiclass Data: A Busemann Risk Perspective

(a) Hyperboloid model and Poincaré Disk

arXiv

深度剖析

提出径向Busemann展开:在大半径处,嵌入到任一固定原型的双曲距离可分解为一个公共径向项与一个由Busemann函数给出的方向相关项。 此前双曲表示学习的工作主要关注模型设计与经验现象,缺少对长时间训练动力学的渐近刻画;该展开把非凸损失拆成径向与角度两部分,使后续收敛分析成为可能。 该分解以引理形式给出并附完整证明,误差项被显式界定为指数小量,且阈值只依赖原型而不依赖方向。

证明径向二分性:漂移系数的符号决定半径是被推向理想边界还是被拉回内部;持续正漂移时半径按对数速率发散,持续负漂移时轨迹在有限时间内回到大半径阈值。 欧氏可分线性分类的对数增长系数由数据间隔决定,而这里的漂移系数在设定下是普适的,不依赖数据几何或间隔,这为双曲模型中的边界饱和提供了机制解释。 结论在完全正则PERM损失假设下以定理给出,包含发散速率的上界与下界以及负漂移情形首次命中时间的界,并配有受控合成实验验证斜率。

证明角度收敛:在对数径向尾部条件下,逃逸轨迹的边界方向收敛到理想边界上Busemann风险的临界点。 这为近边界聚类现象给出机制:一旦嵌入逃逸足够远,判别信息主要编码在由Busemann风险支配的边界方向上,而非半径位置。 证明借助Chill与Jendoubi关于渐近自治梯度流的收敛框架,逐项验证正则性、预紧性、Łojasiewicz梯度不等式与扰动衰减四个条件。

刻画渐近分类器:当Busemann风险的最小值唯一时,大半径处的预测由最小Busemann值决定,类间决策边界是理想边界与仿射超平面的交,即球面截面。 该结果把双曲分类的晚期行为归结为理想边界上的几何对象,并给出Busemann间隔定义,使正确分类等价于该间隔为正。 结论在完全正则PERM损失假设下以定理给出,证明利用径向Busemann展开的一致误差界与模板的置换不变性和逐坐标严格递减性。

启示与展望

该结果面向使用固定类原型、距离型得分与完全正则PERM损失的双曲多分类设定,适用于嵌入已进入大半径渐近区域之后的训练阶段。对实践者而言,它把晚期分类行为归结为理想边界上的Busemann风险,因此半径裁剪可被理解为抑制过度径向增长而保留决定分类器的边界方向结构;曲率缩放推论说明结论可随Minkowski常数重标度。对理论读者,该框架可迁移到其他相对间隔多分类损失,并适用于不可分设定下的逐样本轨迹。

角度收敛依赖对数径向尾部条件,该条件排除了主导径向漂移消失、由高阶项决定逃逸速率的退化情形,这类边界情形仍是开放问题。分析固定原型,完全耦合设定中嵌入、原型与编码器联合学习引入的额外交互尚未覆盖。实验为受控合成验证而非大规模基准,真实数据中的编码器结构、随机优化、有限样本噪声与模型误设定带来的变化仍需进一步观察。此外,正文中部分公式与数值在解析文本中缺失,若需核对具体常数与积分设置,应查阅原文附录。

来源