低秩分解不再需要全局光滑常数:Burer–Monteiro 目标具 2/3 次广义光滑性,步长可在线自适应
核心概要
低秩矩阵分解的 Burer–Monteiro 因子化目标被证明具有指数 2/3 的广义光滑性,据此构造的自适应梯度下降与 SafeAdam 在 SymNMF 的文本与图像基准上匹配或超过 Dyn-NoLips,且不需要调相对光滑核参数。
深度剖析
低秩矩阵分解的因子化目标不再需要全局 Lipschitz 光滑常数来设定步长。 此前的 Bregman 类方法(如 Dyn-NoLips)必须用全局最坏界固定核参数,参数未知时只能做网格搜索。 在 TDT2 上,基本自适应梯度下降需要 1014 次迭代,加入自适应回溯后降到 206 次,最终目标值 0.516670;同一张表里 Dyn-NoLips 用 210 次迭代达到 0.519804。
方法把步长与搜索方向分开处理,使光滑常数可以在迭代中在线估计。 Bregman 框架中核参数定义空间几何,迭代中改动会破坏收敛理论。 在 CBCL 人脸图像上,SafeAdam 用 6764 次迭代和 5.46 秒达到目标值 0.4186,Dyn-NoLips 用 9115 次迭代和 6.04 秒达到 0.4188。
启示与展望
该结果针对 Burer–Monteiro 形式、目标在对称矩阵子空间上强凸的二次函数,并给出小梯度与大梯度两种收敛率。实验在 SymNMF 的 TDT2、Reuters 和 CBCL 数据集上进行,与 Dyn-NoLips 比较。需要下一步验证的是:在核参数未知或条件数更大的低秩问题上,在线估计光滑常数是否仍能保持这一优势。
投影版本在非负约束激活时无法把收敛保证拆成小梯度与大梯度两种情形,只能给出平方根型估计。实验中的停止准则对 Dyn-NoLips 使用投影梯度范数,对提出方法使用梯度映射范数,两者仅在投影不激活时局部等价,实验中未显式检查该条件。
