最优化：建模、算法与理论（最优性理论1

第五章 最优性理论

在实际中最优化问题的形式多种多样，给定一类具体的优化问题，我们首先需要分析其解的存在性。如果优化问题的解存在，再考虑如何设计算法求出最优解，一般的非凸优化问题可能存在很多局部极小解，但其往往也能够满足实际问题的要求。对于这些局部（全局）极小解的求解，最优性理论是至关重要的。

5.1 最优化问题解的存在性

考虑优化问题
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.x\in \chi \text{\hspace{1em}(5.1.1)} \end{gathered}$$
其中$\chi \in R^n$为可行域，对于问题5.1.1,首先是要考虑最优解。在数学分析课程中，我们学习过$Weierstrass$定理，即定义在紧集上的连续函数一定存在最大（最小）点。而在许多实际问题中，定义域可能不是紧的，目标函数也不一定连续，因此需要将此定理推广来保证最优化问题解的存在性。

紧集：紧集的定义还比较简洁：若A的任意开覆盖，都存在有限子覆盖，那么A为紧集。
所谓开覆盖S，就是能“盖住”A的一组开集。所谓子覆盖S‘，就是S里挑几个开集出来。
若能挑出有限个开集把A“盖住”，那么称S存在有限开覆盖。
如果A的每一个开覆盖，都像S一样拥有有限开覆盖，那么A为紧集。
说简单点，若一个集合它不仅是闭集还是有界的，则该集合被称作紧集

定理5.1（$Weierstrass$定理）：考虑一个适当且闭的函数$f:\chi \to (-\infty ,+\infty ]$，假设下面三个条件中任意一个成立：
（1）domf={x∈χ:f(x)<+∞}是有界的domf=\{x{\in}\chi:f(x)<+\infty\}是有界的domf={x∈χ:f(x)<+∞}是有界的
（2）存在一个常数$\bar{\gamma }$使得下水平集
Cγˉ={x∈χ:f(x)≤γˉ}C_{\bar{\gamma}}=\{x{\in}{\chi}:f(x){\le}\bar{\gamma}\}Cγˉ​​={x∈χ:f(x)≤γˉ​}
是非空且有界的
（3）$f$是强制的，即对于任意满足$||x^k||\to +\infty$的点列{xk}⊂χ\{x^k\}{\subset}\chi{xk}⊂χ，都有
$$\underset{k\to \infty }{\lim }f(x^k)=+\infty$$
那么，问题5.1.1的最小值点集{x∈χ∣f(x)≤f(y),∀y∈χ}\{x{\in}\chi|f(x){\le}f(y),\forall{y}{\in}\chi\}{x∈χ∣f(x)≤f(y),∀y∈χ}是非空且紧的
这三个条件可以相互转换推出

定理5.1的三个条件本质上都是保证$f(x)$的最小值不能在无穷远处取到，因此我们可以仅在一个有界的下水平集中考虑$f(x)$的最小值。同时要求$f(x)$为适当且闭的函数，并不需要考虑$f(x)$的连续性，定理5.1比数学分析中的$Weierstrass$定理应用范围更广。
当定义域不是有界闭集(紧集)时，比如$f(x)=x^2,x\in R$满足条件，其全局最优解存在，但对于适当且闭的函数$f(x)=e^{-x},x\in R$，它不满足5.1三个条件中任意一个，因此我们不能断言其全局极小值存在。

定理5.1给出了最优解的存在性条件，但其对应的解可能不止一个，最优化问题的解的唯一性在理论分析和算法中扮演着重要角色。比如，假设存在唯一解，那么我们可以比较不同算法收敛到最优解的收敛速度来判断算法的好坏，如果存在多个最优值点，不同的算法收敛到的最优值点可能不同，那么这些算法的收敛速度就失去了参考价值。但是如果不同最优值点对应的目标函数值相同，我们可以比较不同算法对应的函数值收敛速度。

关于解的存在唯一性，我们这里考虑$f$是强拟凸的情况
定义(5.1)(强拟凸函数)给定凸集$\chi$和函数$f:\chi \to (-\infty ,+\infty ]$。如果对任意的$x\ne y$和$\lambda \in (0,1)$，都有
f(λx+(1−λ)y)<max{f(x),f(y)}f(\lambda{x}+(1-\lambda)y)<max\{f(x),f(y)\}f(λx+(1−λ)y)<max{f(x),f(y)}
那么我们称函数$f$是强拟凸的

强拟凸函数的几何意义是定义域内两点之间的线段上的函数值不会大于两个端点处函数的最大值，一般来说，强拟凸函数不一定是凸函数，但其任意一个下水平集都是凸集。并可以包含一部分性质较好的非凸函数。

定理5.2（唯一性定理）对于问题(5.1.1)，设$\chi$是$R^n$的一个非空、紧且凸的子集，如果$f:\chi \to (-\infty ,+\infty ]$是适当、闭且强拟凸函数，那么存在唯一的$x^{\ast }$满足
$$f(x^{\ast })<f(x),\forall x\in \chi unless{x}^{\ast }$$

这个证明好证，由$Weierstrass$定理可知，问题5.1.1至少存在一个全局极小解$x^{\ast }$，假设还有另外一个全局极小解$y^{\ast }$，那么$f(x^{\ast })=f(y^{\ast })$，根据强拟凸函数的定义，对任意的$\lambda$，有
f(λx∗+(1−λ)y∗)<max{f(x∗),f(y∗)}=f(x∗)f(\lambda{x^*}+(1-\lambda)y^*)<max\{f(x^*),f(y^*)\}=f(x^*)f(λx∗+(1−λ)y∗)<max{f(x∗),f(y∗)}=f(x∗)
这与$x^{\ast }$的全局最优性矛盾

从强拟凸函数的定义可知，任意强凸函数均为强拟凸的，但凸函数并不一定是强拟凸的。

5.2 无约束可微问题的最优性利用

无约束可微优化问题通常表示为如下形式
$$\underset{x\in R^n}{\min }f(x)\text{\hspace{1em}(5.2.1)}$$
其中假设$f$是连续可微函数。给定一个点$\bar{x}$，我们想要知道这个点是否是函数$f$的一个局部极小解或者全局极小解。如果从定义出发，需要对其领域内的所有点进行判断，这是不可行的。因此，需要一个更简单的方式来验证一个点是否为极小值点。我们称其为最优性条件，它主要包含一阶最优性条件和二阶最优性条件。

5.2.1 一阶最优性条件

一阶最优性条件是利用梯度（一阶）信息来判断给定点的最优性。这里是考虑目标函数可微的情形，并给出下降方向的定义
定义5.2（下降方向）对于可微函数$f$和点$x\in R^n$，如果存在向量$d$满足
$$\nabla f(x{)}^{T}d<0$$
那么称$d$为$f$在$x$处的一个下降方向
由下降方向的定义，容易验证：如果$f$在点$x$处存在一个下降方向$d$，那么对于任意的$T>0$，存在$t\in (0,T]$，使得
$$f(x+td)<f(x)$$
因此，在局部最优点处不能有下降方向，我们有如下一阶必要条件

定理5.3（一阶必要条件）假设$f$在全空间$R^n$可微，如果$x^{\ast }$是一个局部极小点，那么
$$\nabla f(x^{\ast })=0$$

注意，这只是一个必要条件，满足$\nabla f(x)=0$的点为$f$的稳定点，除了一阶必要条件，还需要对函数加一些额外的限制条件，才能保证最优解的充分性。

5.2.2 二阶最优性条件

在没有额外假设时，如果一阶必要条件满足，我们仍不能确定当前点是否是一个局部极小点，这里考虑使用二阶信息来进一步判断给定点的最优性。
假设$f$在点$x$的一个开邻域是二阶连接可微的，类似于一阶必要条件的推导（刚刚证明没写），可以借助当前点处的二阶泰勒展开来逼近该函数在该点附近的取值情况，从而来判断最优性，具体地，在点$x$处我们考虑泰勒展开
$$f(x+d)=f(x)+\nabla {f(x)}^{T}d+\frac{1}{2}{d}^T{\nabla }^{2}f(x)d+o(||d|{|}^2)$$
因此，我们有如下二阶最优性条件
定理5.4：假设$f$在点$x^{\ast }$的一个开邻域内是二阶连续可微的，则以下最优性条件成立
二阶必要条件如果$x^{\ast }$是$f$的一个局部极小点，那么
$$\nabla f(x^{\ast })=0,{\nabla }^{2}f(x^{\ast })⪰0$$
二阶充分条件如果在点$x^{\ast }$处有
$$\nabla f(x^{\ast })=0,{\nabla }^{2}f(x^{\ast })\succ 0$$
成立，那么$x^{\ast }$为$f$的一个局部极小点

由定理5.4有如下结论，设点$\bar{x}$满足一阶最优性条件，且该点处的海瑟矩阵$${\nabla }^{2}f(\bar{x})$$不是半正定的，那么$\bar{x}$不是一个局部极小点。进一步的，如果海瑟矩阵${\nabla }^{2}f(\bar{x})$既有正特征值也有负特征值，我们称稳定点$\bar{x}$为一个鞍点。
注意，给出的是关于局部最优性的判断，全局最优性还需要额外加条件。

5.3 无约束不可微问题的最优性

本节仍考虑问题5.2.1
$$\underset{x\in R^n}{\min }f(x)$$
其中$f(x)$为不可微函数，很多实际问题的目标函数不是光滑的，例如$f(x)=||x|{|}_1$，对于此类问题，由于目标函数可能不存在梯度和海瑟矩阵，此时我们必须用其他最优性条件来判断不可微问题的最优点。

5.3.1 凸优化问题一阶充要条件

对于目标函数是凸函数的情形，我们已经引入了次梯度的概念并给出了其计算法则。一个自然的问题是：可以利用次梯度代替梯度来构造最优性条件吗，答案是肯定是，实际上有如下定理：
定理5.5 假设$f$是适当且凸的函数，则$x^{\ast }$为问题5.2.1的一个全局极小点当且仅当
$$0\in \partial f(x^{\ast })$$
这个结论比5.3要强，原因是凸问题有非常好的性质（5.3只考虑了可微，没有考虑凸），它的稳定点不存在鞍点，因此，可以通过计算凸函数的次梯度集合来求解其对应的全局极小点。

5.3.2 复合优化问题的一阶必要条件

在实际问题中，目标函数不一定是凸函数，但它可以写成一个光滑函数和非光滑凸函数的和。例如4.3节介绍的复合优化问题就具有这样的形式。其中目标函数的光滑项可能是凸的。比如LASSO问题，图像去噪问题和盲反卷积问题；也可能是非凸的，例如字典学习问题和神经网络的损失函数。因此研究此类问题的最优性条件十分必要。这里，我们考虑一般复合优化问题
$$\underset{x\in R^n}{\min }\psi (x)=f(x)+h(x)\text{\hspace{1em}(5.3.1)}$$
其中$f$为光滑函数（可能非凸），$h$为凸函数（可能非光滑）对于其任何局部最优解，我们给出如下一阶必要条件
定理5.6（复合优化问题一阶必要条件）令$x^{\ast }$为问题5.3.1的一个局部极小点，那么
$$-\nabla f(x^{\ast })\in \partial h(x^{\ast })$$
其中$\partial h(x^{\ast })$为凸函数$h$在$x^{\ast }$处的次梯度集合
$f$一定是光滑的，所以有导数
定理5.6在之后我们推导复合优化问题算法性质的时候非常重要，它给出了当目标函数一部分是非光滑凸函数时的一阶必要条件。
但是要注意，由于目标函数可能是整体非凸的，因此一般没有充分条件。

5.3.3 非光滑非凸问题的最优性条件

当函数$f$不可微且非凸时，其梯度和通常意义的次梯度都可能不存在，所以这本书对次梯度和次微分概念进行了某种推广，对适当下半联系函数依然可以定义次微分。
（中间就说了一些定义，我这里略过）
定理5.7（一阶必要条件）设$f$是适当下半连续函数，若$x^{\ast }$是$f(x)$的一个局部极小点，则有
$$0\in \partial f(x^{\ast })$$

5.3.4 实例

我们以$l_1$范数优化问题为例，给出其最优解的最优性条件，其一般形式可以写成
$$\underset{x\in R^n}{\min }\psi (x)=f(x)+\mu ||x|{|}_1$$
其中$f(x):R^n\to R$为光滑函数，正则系数$\mu >0$调节解的稀疏度，尽管$||x|{|}_1$是不可微的，但我们可以计算其次微分（我怎么感觉跟次梯度一样）
$${\partial }_i||x|{|}_1=\{\begin{array}{c}1,x_i>0\\ [-1,1],x_i=0\\ -1,x_i<0\end{array}$$
因此，如果$x^{\ast }$是问题5.3.2的一个局部最优解，那么其满足
$$-\nabla f(x^{\ast })\in \mu \partial ||x^{\ast }|{|}_1$$
即
$${\nabla }_{i}f(x^{\ast })=\{\begin{array}{c}-\mu ,x_i^{\ast }>0\\ [-\mu ,\mu ],x_i^{\ast }=0\\ \mu ,x_i^{\ast }<0\end{array}$$
进一步的，如果$f(x)$是凸的（比如LASSO问题），那么满足上式的$x^{\ast }$就是问题5.3.2的全局最优解

5.4 对偶理论

这一节以及本章之后的章节考虑一般的约束优化问题
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x)\le 0,i\in \mathcal{I} \\ {c}_i(x)=0,i\in \epsilon \text{\hspace{1em}(5.4.1)} \end{gathered}$$
其中$c_i$为定义在$R^n$或其子集上的实值函数。$\mathcal{I}$和$\epsilon$分别表示不等式约束和等式约束对应的下标集合且各下标互不相同，这个问题的可行域定义为
χ={x∈Rn∣ci(x)≤0,i∈I且ci(x)=0,i∈ε}\chi=\{x{\in}R^n|c_i(x){\le}0,i{\in}{\mathcal{I}}且c_i(x)=0,i{\in}\varepsilon\}χ={x∈Rn∣ci​(x)≤0,i∈I且ci​(x)=0,i∈ε}
我们可以通过将$\chi$的示性函数加到目标函数中得到无约束优化问题，但是转化后问题的目标函数是不连续的、不可微的以及不是有限的，这导致我们难以分析其理论性质以及设计有效的算法，对于约束优化问题，可行性问题是应该最先考虑的。

5.4.1 拉格朗日函数与对偶问题

研究问题（5.4.1）的重要工具之一是拉格朗日函数，它的基本思想是给该问题的每一个约束指定一个拉格朗日乘子，以乘子为加权系数将约束增加到目标函数中，令${\lambda }_i$为对应于第$i$个不等式约束的拉格朗日乘子，$v_i$为对应于第$i$个等式约束的拉格朗日乘子，为了构造合适的对偶问题，基本原则是对拉格朗日乘子添加合适的约束条件，使得$f(x)$在问题（5.4.1）的任意可行点$x$处大于或等于相应的拉格朗日函数值，（因为不等式约束我们都转化成$\le$ 0了）。根据这个原则，我们要求$\lambda \ge 0$，记$m=|\mathcal{I}|,p=|\epsilon |$，则拉格朗日函数的具体形式
$$L(x,\lambda ,v)=f(x)+\sum _{i\in \mathcal{I}}{\lambda }_i{c}_i(x)+\sum _{i\in \epsilon }{v}_i{c}_i(x)\text{\hspace{1em}(5.4.2)}$$
5.4.2中的加号也可以修改为减号，同时调整相应乘子的约束条件使得上述下界原则满足即可

对拉格朗日函数$L(x,\lambda ,v)$中的$x$取下确界可定义拉格朗日对偶函数，这一函数将在对偶理论中起关键作用
定义5.4：拉格朗日对偶函数$g:R_{+}^m\times R^p\to [-\infty ,+\infty )$是拉格朗日函数$L(x,\lambda ,v)$对于$\lambda \in R_{+}^m,v\in R^p$关于$x$取的下确界
$$g(\lambda ,v)=\underset{x\in R^n}{\inf }L(x,\lambda ,v)\text{\hspace{1em}(5.4.3)}$$
固定$(\lambda ,v)$，如果拉格朗日函数关于$x$无界，那么对偶函数在$(\lambda ,v)$取值为$-\infty$，因为拉格朗日对偶函数是逐点定义的一族关于$(\lambda ,v)$的仿射函数的下确界，根据定理2.13的（5）可知其为凹函数（这里我没懂他是怎么直接利用定理去证的，在网上找到一个证明的方式）

噢。。好像利用那个，仿射函数是既凸又凹的（仿射函数的定义域是凸集那么仿射函数就是凸的），可以直接利用定理去证。

对每一对满足$\lambda \ge 0$的乘子对$(\lambda ,v)$，拉格朗日函数给原优化问题的最优值$p^{\ast }$提供了下界，且该下界依赖于$\lambda$和$v$的选取

引理5.1（弱对偶原理）对于任意的$\lambda \ge 0$和$v$，拉格朗日对偶函数给出了优化问题（5.4.1）最优值的一个下界，即
$$g(\lambda ,v)\le p^{\ast },\lambda \ge 0\text{\hspace{1em}(5.4.4)}$$

那么一个自然的问题是，从拉格朗日对偶函数获得的下界中，哪个是最优的呢？为了求解该最优的下界，便有如下拉格朗日对偶问题
$$\underset{\lambda \ge 0,v}{\max }g(\lambda ,v)=\underset{\lambda \ge 0,v}{\max }\underset{x\in R^n}{\inf }L(x,\lambda ,v)\text{\hspace{1em}(5.4.8)}$$
向量$\lambda$和$v$也称为问题（5.4.1）的对偶变量或者拉格朗日乘子向量，由于其目标函数的凹性和约束集合的凸性，拉格朗日对偶问题是一个凸优化问题。
当$g(\lambda ,v)=-\infty$时，对偶函数提供的$p^{\ast }$的下界变得没有实际意义。只有当$g(\lambda ,v)>-\infty$时，对偶函数生成的关于原始问题最优解$p^{\ast }$的下界才是非平凡的，因此我们规定拉格朗日对偶函数的定义域
$$domg=\{(\lambda ,v)|\lambda \ge 0,g(\lambda ,v)>-\infty \}$$
当$(\lambda ,v)\in domg$时，称其为对偶可行解。记对偶问题的最优值为$q^{\ast }$，称$p^{\ast }-q^{\ast }$为对偶间隙，如果对偶间隙为0，称强对偶原理成立
假设$({\lambda }^{\ast },v^{\ast })$是使得对偶问题取得最优值的解，称其为对偶最优解或者最优拉格朗日乘子
拉格朗日对偶问题的写法并不唯一，如果问题（5.4.1）中有些约束，则可以不把这些约束松弛到拉格朗日函数里。

5.4.2 带广义不等式约束优化问题的对偶

问题（5.4.1）中的不等式约束$c_i(x),i\in \mathcal{I}$都是实值函数的形式，在许多实际应用中，我们还会遇到大量带广义不等式约束的优化问题，例如自变量$x$可能取值于半正定矩阵空间中，对于这类约束我们不易将其化为$c_i(x)\le 0$的形式，那么此时该如何做呢？

1.适当锥和广义不等式

定义广义不等式需要利用适当锥的概念
定义5.5（适当锥）称满足如下条件的锥K为适当锥
（1）K是凸锥
（2）K是闭集
（3）K是实心的，即$intK\ne \varnothing$
（4）K是尖的，即对任意非零向量$x$，若$x\in K$，则$-x\notin K$，也即K无法容纳直线

2.对偶锥

在构造拉格朗日对偶函数时，针对不等式约束$c_i(x)\le 0$我们引入拉格朗日乘子${\lambda }_i\ge 0$，之后将${\lambda }_i{c}_i(x)(\le 0)$作为拉格朗日函数中的一项，那么对于广义不等式，应该如何对拉格朗日乘子提出限制呢？此时需要借助对偶锥的概念
定义5.6（对偶锥）令$K$为全空间$\Omega$的子集，称集合
$$K^{\ast }=y\in \Omega |<x,y>\ge 0,\forall x\in K$$
为其对偶锥

正如定义所说，对偶锥是一个锥（哪怕K不是锥）$K^{\ast }$中的向量和$K$中所有向量夹角均为锐角或直角

半正定锥的对偶锥仍为半正定锥，此时满足$K=K^{\ast }$的锥K为自对偶锥，因此非负锥和半正定锥都是自对偶锥

直观来说，对偶锥$K^{\ast }$中的向量和原锥K向量的内积恒非负，这一性质可以用来构造拉格朗日对偶函数。

3.广义不等式约束优化问题拉格朗日函数的构造

如果将不等式约束函数换成向量函数，并且推广定义相应的广义不等式约束，我们可以得到如下形式的优化问题
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x){⪯}_K,0,i\in \mathcal{I} \\ {c}_i(x)=0,i\in \epsilon \text{\hspace{1em}(5.4.11)} \end{gathered}$$
其中$f;R^n\to R,c_i:R^n\to R,i\in \epsilon ,为实值函数，c_i:R^n\to R^k,k_i\in N_{+},i\in \mathcal{I}$为向量值函数，$K_i$为某种适当锥且${⪯}_K$表示由锥$K_i$定义的广义不等式，因此，问题5.4.1是问题5.4.11中取$k_i=1，K_i=R_{+},\forall i\in \mathcal{I}$时的特殊情形
根据$K_i,i\in \mathcal{I}$的对偶锥$K_i^{\ast }$，我们对广义不等式约束分别引入乘子${\lambda }_i\in K_i^{\ast },i\in \mathcal{I}$，对等式约束引入乘子$v_i\in R,i\in \epsilon$，构造如下拉格朗日函数
$$L(x,\lambda ,v)=f(x)+\sum _{i\in \mathcal{I}}<c_i(x),{\lambda }_i>+\sum _{i\in \epsilon }{v}_i{c}_i(x),{\lambda }_i\in K_i^{\ast },v_i\in R$$
容易验证$L(x,\lambda ,v)\le f(x),\forall x\in \chi ,{\lambda }_i\in K_i^{\ast },v_i\in R$，我们可以定义拉格朗日对偶函数
$$g(\lambda ,v)=\underset{x\in R^n}{\inf }L(x,\lambda ,v)$$
因此，对偶问题为
$$\underset{{\lambda }_i\in K_i^{\ast },v_i\in R}{\max }g(\lambda ,v)$$

每个优化问题都对应一个对偶问题，相比原始问题，对偶问题总是凸的，其最优值给出了原始问题（极小化问题）一个下界，如果原始问题满足一定的条件，我们可以从理论上证明原始问题和对偶问题的最优值是相等的，当原始问题的约束个数比决策变量维度更小时，对偶问题的决策变量维数会比原始问题小，从而可能在相对较小的决策空间中求解

5.4.3 实例

这一小节用四个例子说明拉格朗日对偶问题应当如何计算，并简要从对偶理论的角度分析这些问题具有的性质

1. 线性规划问题的对偶

考虑如下线性规划问题：
$$\begin{gathered} \underset{x}{\min }{c}^{T}x, \\ s.t.Ax=b, \\ x\ge 0\text{\hspace{1em}(5.4.12)} \end{gathered}$$
对于等式约束，我们引入拉格朗日乘子$v$，对于非负约束$x\ge 0$,我们引入拉格朗日乘子$s\ge 0$，可构造如下拉格朗日函数
$$L(x,s,v)=c^{T}x+v^T(Ax-b)-s^{T}x=-b^{T}v+(A^{T}v-s+c{)}^{T}x$$
其拉格朗日对偶函数为
$$g(s,v)=\underset{x}{\inf }L(x,s,v)=\{\begin{array}{c}-b^{T}v,A^T-s+c=0\\ -\infty ,其他\end{array}$$
这个应该很好理解，如果后面那一项不等于0的话，下界就看x取多少了，x是可以取到正无穷或者负无穷的

注意到只需要考虑$A^T-s+c=0$的情形，因此，线性规划问题（5.4.12）的对偶问题是
$$\begin{gathered} \underset{s,v}{\max }-b^{T}v, \\ s.t.A^{T}v-s+c=0, \\ s\ge 0 \end{gathered}$$
经过变量代换$y=-v$后，上述问题等价于常见的形式
$$\begin{gathered} \underset{s,y}{\max }{b}^{T}y, \\ s.t.A^{T}y+s=c, \\ s\ge 0\text{\hspace{1em}(5.4.13)} \end{gathered}$$

当然也可以保留约束$x\ge 0$，对于等式约束$Ax=b$，引入乘子y
$$L(x,y)=c^{T}x-y^T(Ax-b)=b^{T}y+(c-A^{T}y{)}^{T}x$$
而对偶问题需要将$x\ge 0$添加到约束中
max⁡y{inf⁡xbTy+(c−ATy)Tx,s.t.x≥0}\max_y\{\inf_xb^Ty+(c-A^Ty)^Tx,{\quad}s.t.{\quad}x{\ge}0\}ymax​{xinf​bTy+(c−ATy)Tx,s.t.x≥0}

简化后得出
$$\begin{gathered} \underset{y}{\max }{b}^{T}y, \\ s.t.A^{T}y\le c\text{\hspace{1em}(5.4.14)} \end{gathered}$$
可以想一下这个，如果$c-A^{T}y\le 0$，那么下界是可以取到负无穷的，不管他，反之，下界就是$b^{T}y$
事实上，5.4.13可以消掉$s$得到5.4.14

下面我们反推5.4.14的对偶问题，先极小化目标函数
$$\begin{gathered} \underset{y}{\min }-b^{T}y, \\ s.t.A^{T}y\le c \end{gathered}$$
对于不等式约束$A^{T}y\le c$，我们引入拉格朗日乘子$x\ge 0$，则相应的拉格朗日函数为
$$L(y,x)=-b^{T}y+x^T(A^{T}y-c)=-c^{T}x+(Ax-b{)}^{T}y$$
因此得到对偶函数
$$g(x)=\underset{y}{\inf }L(y,x)=\{\begin{array}{c}-c^{T}x,Ax=b\\ -\infty ,其他\end{array}$$
相应的对偶问题是
$$\begin{gathered} \underset{x}{\max }-c^{T}x, \\ s.t.Ax=b, \\ x\ge 0\text{\hspace{1em}(5.4.15)} \end{gathered}$$
可以看到5.4.15与5.4.12完全等价，这说明线性规划问题与其对偶问题互为对偶。

2. $l_1$正则化问题的对偶

对于$l_1$正则化问题
$$\underset{x\in R^n}{\min }\frac{1}{2}||Ax-b|{|}^2+\mu ||x|{|}_1\text{\hspace{1em}(5.4.16)}$$
其中$A\in R^{m\times n},b\in R^m$分别为给定的矩阵和向量（希望求解x），$\mu$为正则化参数来控制稀疏度，通过引入$Ax-b=r$，可以将问题5.4.16转化为如下等价形式：
$$\underset{x\in R^n}{\min }\frac{1}{2}||r|{|}^2+\mu ||x|{|}_1,s.t.Ax-b=r,\text{\hspace{1em}(5.4.17)}$$
其拉格朗日函数为
$$\begin{gathered} L(x,r,\lambda )=\frac{1}{2}||r|{|}^2+\mu ||x|{|}_1-<\lambda ,Ax-b-r> \\ =\frac{1}{2}||r|{|}^2+{\lambda }^{T}r+\mu ||x|{|}_1-(A^T\lambda {)}^{T}x+b^T\lambda \end{gathered}$$
利用二次函数最小值的性质以及$||\cdot |{|}_1$的对偶范数的定义，我们有
$$g(\lambda )=\underset{x,r}{\inf }L(x,r,\lambda )=\{\begin{array}{c}{b}^T\lambda -\frac{1}{2}||\lambda |{|}^2,||A^T\lambda |{|}_{\infty }\le \mu \\ -\infty ,其他\end{array}$$
这里的$b^T\lambda$就不解释了，第二项的话是通过最小化有$r$的项来的，他是一个二次函数，然后后面的要让$\mu ||x|{|}_1-(A^T\lambda {)}^{T}x$有下界，那么很明显，$\mu$要大(比的话肯定是比最高项)，下界就为0，否则就没有了
那么对偶问题为
$$max{b}^T\lambda -\frac{1}{2}||\lambda |{|}^2,s.t.||A^T\lambda |{|}_{\infty }\le \mu$$

3.半定规划问题的对偶问题

考虑标准形式的半定规划问题
$$\begin{gathered} \underset{X\in S^n}{\min }<C,X>, \\ s.t.<A_i,X>=b_i,i=1,2,\cdots ,m, \\ X⪰0\text{\hspace{1em}(5.4.18)} \end{gathered}$$
其中$A_i\in S^n,i=1,2,\cdots ,m,C\in S^n,b\in R^m$，对于等式约束和半正定锥约束，分别引入乘子$y\in R^m$和$S\in {\mathcal{S}}_{+}^n$，拉格朗日函数可以写为
$$L(X,y,S)=<C,X>-\sum _{i=1}^m{y}_i(<A_i,X>-b_i)-<S,X>，S⪰0$$
则对偶函数为
$$g(y,S)=\underset{X}{\inf }(X,y,S)=\{\begin{array}{c}{b}^{T}y,{\sum }_{i=1}^m{y}_i{A}_i-C+S=0\\ -\infty ,其他\end{array}$$
因此，对偶问题为
$$\begin{gathered} \underset{y\in R^m}{\min }-b^{T}y, \\ s.t.\sum _{i=1}^m{y}_i{A}_i-C+S=0, \\ S⪰0\text{\hspace{1em}(5.4.19)} \end{gathered}$$
也可以写成不等式形式
$$\begin{gathered} \underset{y\in R^m}{\min }-b^{T}y, \\ s.t.\sum _{i=1}^m{y}_i{A}_i⪯C,\text{\hspace{1em}(5.4.20)} \end{gathered}$$
对于对偶问题5.4.20，我们同样可以求其对偶问题，对不等式约束引入乘子$X\in S^n$并且$X⪰0$，拉格朗日函数为
$$\begin{gathered} L(y,X)=-b^{T}y+<X,\sum _{i=1}^m{y}_i{A}_i-C> \\ =\sum _{i=1}^m{y}_i(-b_i+<A_i,X>)-<C,X> \end{gathered}$$
对偶函数为
$$g(X)=\underset{y}{\inf }L(y,X)=\{\begin{array}{c}-<C,X>,<A_i,X_i>=b_i,i=1,2,\cdots ,m\\ -\infty ,其他\end{array}$$

因此对偶问题可以写成
$$\begin{gathered} \underset{X\in S^n}{\min }<C,X>, \\ s.t.<A_i,X_i>=b_i,i=1,2,\cdots ,m. \\ X⪰0,\text{\hspace{1em}(5.4.21)} \end{gathered}$$
这就是问题5.4.18，即半定规划问题与其对偶问题互为对偶

4.最大割问题

考虑最大割问题（4.5.6）：
$$\begin{gathered} \underset{x\in R^n}{\max }{x}^{T}Cx, \\ s.t.x_i^2=1,i=1,2,\cdots ,n\text{\hspace{1em}(5.4.22)} \end{gathered}$$
其中$C\in R^{n\times n}$为图的拉普拉斯矩阵，这里$x_i^2=1$表明$x_i=1$或者$x_i=-1$，引入拉格朗日乘子$y\in R^n$，拉格朗日函数可以写为
$$L(x,y)=-x^{T}Cx+\sum _{i=1}^n{y}_i(x_i^2-1)=x^T(Diag(y)-C)x-1^{T}y$$
则对偶函数为
$$g(y)=\underset{x}{\inf }L(x,y)=\{\begin{array}{c}-1^{T}y,Diag(y)-C⪰0,\\ -\infty ,其他\end{array}$$
因此，对偶问题为
$$\begin{gathered} \underset{y\in R^n}{\min }{1}^{T}y \\ s.t.Diag(y)-C⪰0\text{\hspace{1em}(5.4.23)} \end{gathered}$$
这是一个半定规划问题
对于5.4.23，我们还可以求其对偶问题，对于半正定约束，引入拉格朗日乘子$X⪰0$，拉格朗日函数可以写为
$$\begin{gathered} L(y,X)=1^{T}y-<Diag(y)-C,X> \\ =\sum _{i=1}^n(1-X_{ii})y_i+<C,X> \end{gathered}$$
则对偶函数为
$$g(X)=\underset{y}{\inf }L(y,X)\{\begin{array}{c}-<C,X>,X_{ii}=1,i=1,2,\cdots ,n\\ -\infty ,其他\end{array}$$

因此，问题5.4.23的对偶问题为
$$\begin{gathered} \max <C,X>, \\ s.t.X_{ii}=1,i=1,2,\cdots ,n \\ X⪰0 \end{gathered}$$
容易看出，此问题不是最大割问题，而是一个半定规划问题，这个分析也给出了最大割问题半定松弛的一种理解方式

5.5 一般约束优化问题的最优性理论

5.5.1 一阶最优性条件

类似于无约束优化问题，约束优化问题（5.4.1）的最优性条件要从下降方向开始讨论，因为决策变量限制在可行域中，所以只需要关注可行的方向，先引入可行域的几何性质

1.切锥和约束品性

在给出最优性条件之前，我们先介绍一些概念，与无约束优化问题类似，首先需要定义5.4.1的下降方向，这里因为约束的存在，我们只考虑可行方向，即可行序列对应的极限方向，特别地，称这样的方向为切向量
定义5.7（切锥）：给定可行域$\chi$及其内一点$x$，若存在可行序列{zk}k=1∞⊂χ\{z_k\}_{k=1}^\infty{\sub}\chi{zk​}k=1∞​⊂χ逼近$x$(即${\lim }_{k\to \infty }{z}_k=x$)以及正标量序列{tk}k=1∞,tk→0\{t_k\}_{k=1}^\infty,t_k{\rightarrow}0{tk​}k=1∞​,tk​→0满足
则称向量$d$为$\chi$在点$x$处的一个切向量，所有点$x$处的切向量构成的集合称为切锥，用$T_{\chi }(x)$表示
按目前的理解可能就是可移动方向的集合

之后，我们可以从几何上刻画问题5.4.1的最优性条件，我们要求切锥（可行方向集合）不包含使得目标函数值下降的方向，具体地，有下面的一阶必要条件，称为几何最优性条件
定理5.8（几何最优性条件）假设可行点$x^{\ast }$是问题5.4.1的一个局部极小点，如果$f(x)$和$c_i(x),i\in \mathcal{I}\cup \epsilon$在点$x^{\ast }$处是可微的，那么
$$d^T\nabla f(x^{\ast })\ge 0,\forall d\in T_{\chi }(x^{\ast })$$
等价于
Tχ(x∗)∩{d∣∇f(x∗)Td<0}=∅T_{\chi}(x^*)\cap\{d|\nabla{f(x^*)^Td<0}\}=∅Tχ​(x∗)∩{d∣∇f(x∗)Td<0}=∅
意思就是你的可行方向不能有下降方向了
{d∣∇f(x∗)Td<0}\{d|\nabla{f(x^*)^Td<0}\}{d∣∇f(x∗)Td<0}这个就是d就是下降方向，大家应该都能懂

因为切锥是根据可行域的几何性质来定义的，其计算往往是不容易的，我们需要寻找代数方法来计算可行方向，进而更容易的判断最优性条件，我们给出另一个容易计算的可行方向集合的定义，即线性化可行方向锥。

定义5.8（线性化可行方向锥）对于可行点$x\in \chi$，该点的积极集$\mathcal{A}(x)$定义为两部分下标的集合。一部分是等式约束对应的下标，另一部分是不等式约束中等号成立的约束对应的下标，即
A(x)=ε∪{i∈I:ci(x)=0}\mathcal{A}(x)={\varepsilon}{\cup}\{i{\in}\mathcal{I}:c_i(x)=0\}A(x)=ε∪{i∈I:ci​(x)=0}
进一步地，点$x$处的线性化可行方向锥定义为
$$\mathcal{F}(x)=\{\begin{array}{c}d|d^T\nabla c_i(x)=0,\forall i\in \epsilon \\ d|d^T\nabla c_i(x)\le 0,\forall i\in \mathcal{A}(x)\cap \mathcal{I}\end{array}$$

直观的说，线性化可行方向锥中的向量应该保证和等式约束中函数的梯度垂直，这样才能保证$c_i(x),i\in \epsilon$的值不变，而对积极集$\mathcal{A}(x)\cap \mathcal{I}$中的指标$i$，沿着该向量$c_i(x)$的值至少不应该增加，即对$c_i(x),i\in \mathcal{A}(x)\cap \mathcal{I}$是一个下降方向。

线性化可行方向锥一般比切锥要大，我们有如下结果
命题5.1，设$c_i(x),i\in \epsilon \cup \mathcal{I}$一阶连续可微，则对任意可行点$x$有
$$T_{\chi }(x)\subseteq \mathcal{F}(x)$$
以上结论反过来是不成立的，我们给出具体的例子，考虑问题
$$\begin{gathered} \underset{x\in R}{\min }f(x)=x, \\ s.t.c(x)=-x+3\le 0\text{\hspace{1em}(5.5.1)} \end{gathered}$$
根据切锥的定义，可以算出点$x^{\ast }=3$处的切锥为Tχ(x∗)={d∣d≥0}T_{\chi}(x^*)=\{d|d{\ge}0\}Tχ​(x∗)={d∣d≥0}这个很好理解把，可行方向就是往正的走。对于线性化可行方向锥，由于$c^{\prime }(x^{\ast })=-1$，故F(x∗)={d:d≥0}\mathcal{F}(x^*)=\{d:d{\ge}0\}F(x∗)={d:d≥0}这个定义也很好求，此时我们有$T_{\chi }(x^{\ast })=\mathcal{F}(x^{\ast })$
倘若我们将5.5.1的约束变为
$$c(x)=(-x+3{)}^3\le 0$$
因为可行域没有改变，所以在点$x^{\ast }=3$处，切锥不变，但是对于线性化可行方向锥，由于$c^{\prime }(x^{\ast })=0$，所以F(x∗)={d∣d∈R}\mathcal{F}(x^*)=\{d|d{\in}R\}F(x∗)={d∣d∈R}，此时$\mathcal{F}(x^{\ast })\supset T_{\chi }(x^{\ast })$。
这个例子告诉我们线性化可行方向锥$\mathcal{F}(x)$不但受到问题可行域$\chi$的影响，还会受到$\chi$的代数表示方式的影响。在不改变$\chi$的条件下改变定义$\chi$的等式（不等式）的数学形式会影响$\mathcal{F}(x)$包含的元素。而切锥$T_{\chi }(x)$的定义直接依赖于可行域$\chi$，因此他不受到$\chi$代数表示方式的影响。

线性化可行方向锥容易计算和使用，但会受到问题形式的影响，切锥比较直接地体现了可行域$\chi$的性质，但比较难计算，为了刻画线性化可行方向锥$\mathcal{F}(x)$与切锥$T_{\chi }(x)$之间的关系，我们引入约束品性这个概念，简单来说，大部分的约束品性都是为了保证在最优点$x^{\ast }$处，$\mathcal{F}(x^{\ast })=T_{\chi }(x)$，这一性质使得我们能够使用$\mathcal{F}(x)$代替$T_{\chi }(x)$，进而更方便的研究约束最优化问题条件。这里给出一些常用的约束品性的定义。

定义5.9（线性无关约束品性）给定可行点$x$及相应的积极集，如果积极集对应的约束函数的梯度，即$\nabla c_i(x),i\in \mathcal{A}(x)$，是线性无关的，则称线性无关约束品性（LICQ）在点$x$处成立
当LICQ成立时，切锥和线性化可行方向锥是相同的。

关于LICQ的一个常用推广是Mangasarian Fromovitz 约束品性，简称为MFCQ
定义5.10（MFCQ） 给定可行点$x$及相应的积极集$\mathcal{A}(x)$，如果存在一个向量$w\in R^n$，使得
$$\begin{gathered} \nabla {c_i(x)}^{T}w<0,\forall i\in \mathcal{A}(x)\cap \mathcal{I}, \\ \nabla {c_i(x)}^{T}w=0,\forall i\in \epsilon \end{gathered}$$
并且等式约束对应的梯度集{∇ci(x),i∈ε}\{\nabla{c_i(x),i{\in}\varepsilon}\}{∇ci​(x),i∈ε}是线性无关的，则称MFCQ在点$x$处成立
可以验证MFCQ是LICQ的一个弱化版本，即由LICQ可以推出MFCQ，但是反过来不成立，在MFCQ成立的情况下，我们也可以证明$T_{\chi }(x)=\mathcal{F}(x)$

另外一个用来保证$T_{\chi }(x)=\mathcal{F}(x)$的约束品性是线性约束品性
定义5.11（线性约束品性）如果所有的约束函数$c_i(x),i\in I\cup \epsilon$都是线性的，则称线性约束品性成立
但线性约束品性成立的时候，也有$T_{\chi }(x)=\mathcal{F}(x)$，因此对只含线性约束的优化问题，例如i线性规划，二次规划，很自然的有$T_{\chi }(x)=\mathcal{F}(x),\forall x$，我们无需再关注约束函数的梯度是否线性无关，一般来说，线性约束品性和LICQ之间没有相互包含的关系。

2.KKT条件

基于几何最优性条件，即定理5.8，我们想要得到一个计算上更容易验证的形式，切锥和线性化可行方向锥联系给我们提供了一种方式，具体地，在定理5.8中，如果在局部最优解$x^{\ast }$处有
$$T_{\chi }(x^{\ast })=\mathcal{F}(x^{\ast })$$成立，那么集合
$$\{\begin{array}{c}d|d^T\nabla f(x^{\ast })<0\\ d|d^T\nabla c_i(x)=0,\forall i\in \epsilon \\ d|d^T\nabla c_i(x)\le 0,\forall i\in \mathcal{A}(x)\cap \mathcal{I}\end{array}\text{\hspace{1em}(5.5.2)}$$
是空集、5.5.2式的验证是非常麻烦的，我们需要将其转化称一个更直接的方式，这里介绍一个重要的引理，称为$Farkas$引理
引理5.3（$Farkas$引理）设$p$和$q$为两个非负整数，给定向量组{ai∈Rn,i=1,2,⋯ ,p},{bi∈Rn,i=1,2,⋯ ,q}和c∈Rn\{a_i{\in}R^n,i=1,2,\cdots,p\},\{b_i{\in}R^n,i=1,2,\cdots,q\}和c{\in}R^n{ai​∈Rn,i=1,2,⋯,p},{bi​∈Rn,i=1,2,⋯,q}和c∈Rn，满足以下条件
$$d^T{a}_i=0,i=1,2,\cdots ,p\text{\hspace{1em}(5.5.3)}$$
$$d^T{b}_i\ge 0,i=1,2,\cdots ,q\text{\hspace{1em}(5.5.4)}$$
$$d^{T}c<0\text{\hspace{1em}(5.5.5)}$$
的$d$不存在当且仅当存在${\lambda }_i,i=1,2,\cdots ,p$和${\mu }_i\ge 0,i=1,2,\cdots ,q$，使得
$$c=\sum _{i=1}^p{\lambda }_i{a}_i+\sum _{i=1}^q{\mu }_i{b}_i$$

利用$Farkas$引理，在5.5.3-5.5.5式中取$a_i=\nabla c_i(x^{\ast }),i\in \epsilon ,b_i=\nabla c_i(x^{\ast }),i\in \mathcal{A}(x^{\ast })\cap \mathcal{I}以及c=-\nabla f(x^{\ast })$，集合5.5.2是空集等价于下式成立
$$-\nabla f(x^{\ast })=\sum _{i\in \epsilon }{\lambda }_i^{\ast }\nabla c_i(x^{\ast })+\sum _{i\in \mathcal{A}(x^{\ast })\cap \mathcal{I}}{\lambda }_i^{\ast }\nabla c_i(x^{\ast })$$
其中${\lambda }_i^{\ast }\in R,i\in \epsilon ,{\lambda }_i^{\ast }\ge 0,i\in \mathcal{A}(x^{\ast })\cap \mathcal{I}$
如果补充定义${\lambda }_i^{\ast }=0,i\in \mathcal{I}/\mathcal{A}(x^{\ast })$那么
$$-\nabla f(x^{\ast })=\sum _{i\in \mathcal{I}\cap \epsilon }{\lambda }_i^{\ast }\nabla c_i(x^{\ast })$$
这恰好对应于拉格朗日函数关于$x$的一阶最优性条件，另外，对于任意的$i\in \mathcal{I}$，我们注意到‘
$${\lambda }_i^{\ast }{c}_i(x^{\ast })=0$$
上述称为互补松弛条件，这个条件表明不等式约束，以下两种情况至少出现一种乘子=0或者$c_i(x^{\ast })=0$。当以上两种情况恰好只有一种满足时，我们也称此时严格互补松弛条件成立。

综上所述，我们有如下一阶必要条件，也称作KKT条件，兵称满足条件的变量对$(x^{\ast },{\lambda }^{\ast })$为KKT对

定理5.9（KKT条件），假设$x^{\ast }$是问题的一个局部最优点
如果
$$T_{\chi }(x)=\mathcal{F}(x^{\ast })$$
成立，那么存在拉格朗日乘子${\lambda }_i^{\ast }$使得如下条件成立
$$\begin{gathered} 稳定性条件{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast })=\nabla f(x^{\ast })+\sum _{i\in \mathcal{I}\cup \epsilon }{\lambda }_i^{\ast }\nabla c_i(x^{\ast })=0 \\ 原始可行性条件c_i(x^{\ast })=0,\forall i\in \epsilon \\ 原始可行性条件c_i(x^{\ast })\le 0,\forall i\in \mathcal{I} \\ 对偶可行性条件{\lambda }_i^{\ast }\ge 0,\forall i\in \mathcal{I} \\ 互补松弛条件{\lambda }_i^{\ast }{c}_i(x^{\ast })=0,\forall i\mathcal{I}\text{\hspace{1em}(5.5.8)} \end{gathered}$$

我们称满足5.5.8的点$x^{\ast }$为KKT点，注意，上面的定理只给出了初锥和线性可行化方向锥头相同时的最优性条件，也就是说，如果局部最优点$x^{\ast }$处$T_{\chi }(x^{\ast })\ne \mathcal{F}(x^{\ast })$，那么$x^{\ast }$不一定是KKT点，同样点，因为KKT条件只是必要的，所以KKT点不一定是局部最优点

5.5.2 二阶最优性条件

对于问题5.4.1，如果存在一个点$x^{\ast }$满足KKT条件，我们知道沿着任意线性化可行方向目标函数的一阶近似不会下降，此时一阶条件无法判断$x^{\ast }$是否是最优点，我们以拉格朗日函数在这些方向上的曲率信息为桥梁来判断点$x^{\ast }$处的最优性，下面给出临界锥的定义
定义5.12（临界锥）设$(x^{\ast },{\lambda }^{\ast })$满足KKT条件，定义临界锥为
C(x∗,λ∗)={d∈F(x∗)∣∇ci(x)Td=0,∀i∈A∗∩I且λi∗>0}C(x^*,\lambda^*)=\{d{\in}\mathcal{F}(x^*)|\nabla{c_i(x)^Td=0,\forall{i}{\in}\mathcal{A^*}\cap}\mathcal{I}且\lambda_i^*>0\}C(x∗,λ∗)={d∈F(x∗)∣∇ci​(x)Td=0,∀i∈A∗∩I且λi∗​>0}
其中$\mathcal{F}(x)$为点$x^{\ast }$处的线性化可行方向锥
临界锥是线性化可行方向锥的子集，沿着临界锥中的方向进行优化，所有等式约束和${\lambda }_i^{\ast }>0$对应的不等式约束（此时不等式约束中的等号均成立）都会尽量保持不变
根据上述定义，可得到如下结论
$$d\in C(x^{\ast },{\lambda }^{\ast })\to d^T\nabla f(x^{\ast })=\sum _{i\in \epsilon \cup \mathcal{I}}{\lambda }_i^{\ast }{d}^T\nabla c_i(x^{\ast })=0$$
更进一步的
$$d^T\nabla f(x^{\ast })=-\sum _{i\in \epsilon \cup \mathcal{I}}{\lambda }_i^{\ast }{d}^T\nabla c_i(x^{\ast })=0$$
也就是说，临界锥定义了根据一阶导数不能判断是否为上升或下降方向的线性化可行方向，必须使用高阶导数信息加以判断

定理5.10（二阶必要条件）假设$x^{\ast }$是问题5.4.1的一个局部最优解，并且$T_{\chi }(x^{\ast })=\mathcal{F}(x^{\ast })$成立，令${\lambda }^{\ast }$为相应的拉格朗日乘子，即$(x^{\ast },{\lambda }^{\ast })$满足KKT条件，那么
$$d^T{\nabla }_{xx}^{2}L(x^{\ast },{\lambda }^{\ast })d\ge 0,\forall d\in \mathcal{C}(x^{\ast },{\lambda }^{\ast })$$
定理5.11（二阶充分条件）假设在可行点$x^{\ast }$处，存在一个拉格朗日乘子${\lambda }^{\ast }$，使得$(x^{\ast },{\lambda }^{\ast })$满足KKT条件，如果
$$d^T{\nabla }_{xx}^{2}L(x^{\ast },{\lambda }^{\ast })d>0,\forall d\in \mathcal{C}(x^{\ast },{\lambda }^{\ast }),d\ne 0$$
那么$x^{\ast }$为问题5.4.1的一个严格局部极小解

我们考虑一个具体的例子，给定如下约束问题
$$\min x_1^2+x_2^2,s.t.\frac{x_1^2}{4}+x_2^2-1=0$$
其拉格朗日函数为
$$L(x,\lambda )=x_1^2+x_2^2+\lambda (\frac{x_1^2}{4}+x_2^2-1)$$
该问题可行域在任意一点$x=(x_1,x_2{)}^T$处的线性化可行方向锥为
$$\mathcal{F}(x)=\{(d_1,d_2)|\frac{x_1}{4}{d}_1+x_2{d}_2=0\}$$
因为只有一个等式约束且对应函数的梯度非零，故LICQ成立，且在KKT对$(x,\lambda )$处有$\mathcal{C}(x,\lambda )=\mathcal{F}(x)$，我们首先可以计算出四个KKT对
$$(x^{\ast },\lambda )=(\mathrm{2.0.}-4),(-2,0,-4),(0,1,-1),(0,-1,-1)$$
我们就考虑第一个KKT对$y=(2,0,-4{)}^T$和第三个KKT对$z=(0,1,-1{)}^T$
∇xx2L(y)=[000−6]，C(y)={d1,d2∣d1=0}\nabla_{xx}^2L(y)= \left[ \begin{matrix} 0 & 0\\ 0 & -6\\ \end{matrix} \right] ，\mathcal{C}(y)=\{{d_1,d_2|d_1=0}\}∇xx2​L(y)=[00​0−6​]，C(y)={d1​,d2​∣d1​=0}
取$d=(0,1)$，则
$$d^T{\nabla }_{xx}^{2}L(y)d=-6<0$$
因此y不是 局部最优点
对于z
∇xx2L(z)=[32000]，C(y)={d1,d2∣d2=0}\nabla_{xx}^2L(z)= \left[ \begin{matrix} \frac{3}{2} & 0\\ 0 & 0\\ \end{matrix} \right] ，\mathcal{C}(y)=\{{d_1,d_2|d_2=0}\}∇xx2​L(z)=[23​0​00​]，C(y)={d1​,d2​∣d2​=0}
对于任意的$d=(d_1,0)$，且$d_1\ne 0$
$$d^T{\nabla }_{xx}^{2}L(z)d=\frac{3}{2}{d}_1^2>0$$
因此，z为一个严格局部最优点