深入浅出最优化(8) 拉格朗日乘子法

1 拉格朗日乘子法的数学背景

当使用前面介绍的罚函数法求解约束问题时，为获得足够好的近似解，罚参数需取足够大的值，这将导致增广目标函数的黑森矩阵出现病态，从而导致数值计算上的困难。因此提出拉格朗日乘子法。

学高数的时候我们就学过等式约束条件下的拉格朗日乘子法。延续前一节中对约束最优化问题的定义，则拉格朗日函数为$L(x,\mu )=f(x)-\sum _{j\in E}{\mu }_j{h}_j(x)$。局部最优解的条件是对x求梯度及对所有$\mu$求导均为0。

下面来讨论不等式和等式同时约束条件下的拉格朗日乘子法。拉格朗日函数为$L(x,\mu )=f(x)-\sum _{i\in I}{\lambda }_i{g}_i(x)-\sum _{j\in E}{\mu }_j{h}_j(x)$。对$\lambda$的情况需要讨论：

1. 最优解在$D$内部时，$g(x^{\ast })>0$，约束条件无效，有${\lambda }_i^{\ast }=0,i\in I$
2. 最优解在$D$边界上时，$g(x^{\ast })=0$，约束条件有效。此时对x求梯度设为0，有$\nabla f(x^{\ast })=\sum _{i\in I}{\lambda }_i^{\ast }\nabla g_i(x^{\ast })+\sum _{j\in E}{\mu }_j^{\ast }\nabla h_i(x^{\ast })$,$\nabla f(x^{\ast })$指向$D$内部（因为边界处是最优解），$\nabla g_i(x^{\ast })$也指向$D$内部（因为边界处为0，$D$内大于0），所以${\lambda }_i^{\ast }>0,i\in I$

可见，无论最优解在何处，都有${\lambda }_i^{\ast }{g}_i(x^{\ast })=0,i\in I$，这个条件被称为互补松弛条件。

因此针对不等式和等式同时约束条件下的拉格朗日乘子法，局部最优解的条件可以用如下的KKT条件表示：

$\{\begin{array}{l}{\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=\nabla f(x^{\ast })-\sum _{i\in I}{\lambda }_i^{\ast }\nabla g_i(x^{\ast })-\sum _{j\in E}{\mu }_j^{\ast }\nabla h_j(x^{\ast })=0\\ h_j(x^{\ast })=0,j\in E\\ g_i(x^{\ast })\ge 0,{\lambda }_i^{\ast }\ge 0,{\lambda }_i^{\ast }{g}_i(x^{\ast })=0,i\in I\end{array}$

满足KKT条件的点被称为KKT点。

2 拉格朗日乘子法的构成

2.1 等式约束问题的乘子法

将外点罚函数法的思想引入拉格朗日函数的最优化问题。设$S(x)=\sum _{i\in E}{h}_i^2(x)$，构造辅助函数$L_{\mu }(x,\lambda )=L(x,\lambda )+\frac{1}{2}\mu S(x)=f(x)-\sum _{i\in E}{\lambda }_i{h}_i(x)+\underset{2}{}$