基于Mordukhovich上导数的非单调牛顿法：HAN线搜索与自适应正则化在Lasso、SVM和Logistic Lasso上取得更少迭代与更低CPU时间

提出NCN方法：以梯度映射的Mordukhovich上导数作为广义Hessian，配合HAN线搜索与自适应正则化求解非光滑优化。 既有上导数牛顿法分别使用Armijo线搜索（步长可能过小）或Wolfe线搜索（需额外曲率条件、成本更高），且采用固定正则化；NCN用步长相关的切换机制在Armijo、非单调Armijo与非单调Wolfe之间自适应切换，并按信赖域比值或线搜索步长动态调整正则化参数。 理论方面，Proposition 3.1在广义Hessian半正定假设下证明搜索方向存在且为下降方向；Proposition 4.1给出任意初始点下的全局收敛；Proposition 4.2在次光滑*与度量正则条件下证明Q-超线性收敛。数值方面，Lasso实验中NCN在多数测试实例取得最低CPU时间与最少迭代数，GRNM-W因Wolfe线搜索的额外成本CPU时间明显更高。

将收敛分析推广到不精确二阶信息，并给出统一框架。 以往上导数牛顿法的收敛结果主要针对精确广义Hessian；本文的分析允许广义Hessian为近似，只要其满足半正定条件且近似误差以快于到解距离的速度消失，即可保持全局收敛与局部超线性收敛。 Proposition 4.1的全局收敛结论不依赖于二阶信息的具体选择；Proposition 4.2与Corollary 4.3给出近似误差沿算法步方向快速消失时的超线性收敛；文中指出在半随机设定下可通过增加样本数来控制该误差。

通过前向后向包络（FBE）把NCN扩展到凸复合优化，覆盖Lasso与SVM。 凸复合问题本身是一阶非光滑问题，而NCN面向二阶非光滑系统；FBE在保持极小点集合不变的同时赋予问题适合NCN的二阶非光滑结构，文中给出Lasso与SVM情形下计算搜索方向的显式牛顿系统。 Proposition 5.2列出FBE的平滑性与凸性等性质；Proposition 5.3–5.5给出FBE的上导数刻画、度量正则与倾斜稳定性等价关系以及次光滑*与方向可微性条件；SVM实验中NCN在低秩与高秩情形下CPU时间均低于CNFB。

提出上导数近端牛顿（CPN）方法处理光滑分量非二次的情形，并在Logistic Lasso上验证。 CPN在每步用Taylor展开构造二次复合子问题，并以NCN作为内层求解器，从而把针对二次光滑分量的分析推广到非二次光滑分量。 Logistic Lasso实验中，CPN与FISTA是仅有的在全部测试用例上按后处理残差准则持续获得高精度解的方法，且CPN所需迭代数少于FISTA；在CPU时间上CPN与SpaRSA、PNOPT相比具有竞争力。

该结果面向目标函数为C^{1,1}类或凸复合形式、且广义Hessian半正定的非光滑优化问题；在此设定下，NCN可从任意初始点全局收敛，并在次光滑*与度量正则等条件下达到局部超线性收敛。对希望把二阶信息用于Lasso、SVM、Logistic Lasso等机器学习模型的读者，本文给出了通过FBE与近端牛顿框架落地的具体路径，并说明HAN线搜索可作为独立于具体算法的通用全局化策略。

数值比较依赖各问题类的固定计算环境与随机生成数据，Lasso与SVM、Logistic Lasso分别在不同MATLAB版本与硬件上运行；不同方法使用不同的残差定义，Logistic Lasso通过后处理残差统一评估。广义Hessian半正定、次光滑*、度量正则与倾斜稳定性等假设在实际问题中是否成立，需要针对具体模型验证。文中提到半随机与lazy变体、以及一阶与二阶信息同时不精确、非凸扩展等方向仍待研究。