跳到主要内容
返回时间线
Journal of Global Optimization来源发表:

杨美佳与夏勇证明:广义迹比问题需同时添加冗余约束并缩放才能消除拉格朗日对偶间隙

核心概要

本文研究定义在Stiefel流形上、目标为迹形式二次分式的广义迹比问题(GTRP),基于新建立的矩阵S-引理证明:若先添加冗余约束XX^T⪯I_n并做良好缩放得到等价问题(GRS),则其拉格朗日对偶间隙为零;而单独添加冗余约束(GR)或单独缩放(GS)以及原问题(GTRP)本身都可能存在正的拉格朗日对偶间隙。

AI-generated editorial illustration: Closing the duality gap of the generalized trace ratio problem

深度剖析

论文建立了矩阵S-引理:对H∈S^{p×p}与Q∈S^{n×n},集合{X∈R^{n×p}: tr(HX^TQX)<0, X^TX=I_p}为空,当且仅当存在M∈S^{p×p}与W∈S^{n×n}(W⪰0)使 tr(HX^TQX)+tr(M(X^TX−I_p))+tr(W(XX^T−I_n))≥0 对所有X成立。 该引理把经典Farkas引理与凸Farkas引理推广到含Stiefel流形二次等式约束的矩阵情形,此前文献中未见同型的矩阵S-引理。 证明完整给出:先由凸Farkas引理导出非齐次Farkas引理(引理2),再借助引理3(X^TX=I_p蕴含XX^T⪯I_n)与引理4(S1⊆S2且S1=∅⇔S2=∅,其中用到Birkhoff–von Neumann定理)完成双向证明。

基于矩阵S-引理,论文给出(GTRP)最优值的半定规划松弛刻画 v(GTRP)=inf{μ: μG⊗A−G⊗B+M⊗I_n+I_p⊗W⪰0, tr(M)+tr(W)≤0, W⪰0},并证明(GRS)的拉格朗日对偶值与该刻画相等,即(GRS)无对偶间隙。 此前(GTRP)的隐藏凸性已被揭示,但把对偶间隙显式关闭为等价重构(GRS)并给出半定规划形式,是本文新增的结果。 定理2与定理3给出完整推导,其中(GRS)对偶的最终形式(12)与(10)逐项对照后相等。

论文证明(GTRP)与(GR)的拉格朗日对偶最优值均为 λ_max(A^{-1}B),并给出无对偶间隙的充要条件:λ_max(I_p⊗(A^{-1}B))对应的任意单位特征向量vec(X̂)满足 X̂^TX̂=(1/p)I_p。 这说明仅添加看似冗余的约束XX^T⪯I_n对缩小对偶间隙毫无作用,与(GTP)情形下添加该约束即可获得强对偶的已知结论形成对照。 定理4、定理5分别给出两个对偶值的完整推导,定理6给出充要条件;文中还以p=1的(GRQ1)为例说明该特例下强对偶成立。

论文通过一个n=p=2的显式算例说明(GS)可能存在正的对偶间隙:取A=I_2、G=diag(1,2)、B=diag(1,3)时,原问题最优值为7/3,对偶最优值为3,间隙为2/3。 这否定了“仅做缩放即可关闭(GTRP)对偶间隙”的设想,从而说明必须把添加冗余约束与缩放两种技巧结合才能得到(GRS)。 算例给出矩阵的显式形式与逐步推导,原问题值由引理6得到,对偶值由半定约束(20)(21)推出。

启示与展望

本文的结论针对G与A均为正定矩阵、X∈R^{n×p}且n≥p、约束为X^TX=I_p的(GTRP)设定;在此设定下,若先添加冗余约束XX^T⪯I_n并做缩放得到(GRS),则可放心地转向求解其拉格朗日对偶,因为定理3保证两者取值相等。对做迹比型判别分析、正交约束二次规划或Brockett代价函数优化的读者,这意味着可以把非凸原问题替换为半定规划形式的对偶问题来求解。文末还指出,非齐次形式(NGTRP)可通过把β/(p tr(G))I_n与α/(p tr(G))I_n分别并入B与A,等价转化为(GTRP)型问题,因此本文理论也适用于该非齐次情形。

论文对(GTRP)、(GR)、(GS)的对偶间隙给出了对偶最优值与充要条件,但未给出原问题最优值的闭式表达,因此间隙的具体大小仍依赖具体数据;算例仅覆盖n=p=2的一个取值,其他规模与参数下间隙的表现有待进一步观察。作者在结论中提出将研究更一般的 max tr(G_2X^TBX)/tr(G_1X^TAX) 问题及其性质与全局算法,说明本文结论向该推广形式的延伸仍是开放问题。此外,本文为理论推导,未报告数值实验或算法实现,实际求解(GRS)对应半定规划的计算成本与可扩展性不在本文讨论范围内。

来源