东北大学最优化方法与理论第一章知识点总结——预备知识

预备知识

一、基本概念

1. 一般形式：
   
2. 相关概念：不等式约束，等式约束，容许解或容许点，容许集，（非严格）局部极小点，严格局部极小点，（非严格）全局极小点，严格全局极小点，无约束问题，一维搜索或直线搜索。
3. 实际方法：通常是求全局极小点，但是到目前为止，绝大多数最优化方法是求局部极小点的方法，解决这一矛盾的一种办法是，先求出所有的局部极小点，再从中找出全局极小点。

二、二维问题的图解法

1. 例题
   
2. 求解步骤

• 画出目标函数的等值线
• 画出约束曲线
• 约束直线与某条等值线（圆）相切的点恰为最优点

三、梯度和Hesse矩阵

1. 要求：目标函数是可微的。
   
   
2. 方向导数
   （1）定义：函数f(x)在点x0处沿p方向的方向导数。
   
   （2）性质：方向导数大于零，则称p方向是上升方向；方向导数小于零，则称p方向是下降方向。
   （3）直线方程：x=x0+tp
3. 梯度：也称函数f(x)关于变量x的一阶导数。
   （1）公式
   
   （2）性质

• 函数在某点的梯度与函数过该点的等值面上的任何一条光滑曲线L的切线垂直，从而与过该点的切平面垂直。
• 梯度方向是函数值得最速上升方向
• 函数在与其梯度正交的方向上，变化率为零
• 函数在与其梯度成锐角的方向上，函数值是上升的
• 函数在与其梯度成钝角的方向上，函数值是下降的

4. Jacobi矩阵与Hesse矩阵
   （1）该矩阵称为g(x)在点x0处的Jacobi矩阵
   
   （2）多元函数f(x)的二阶导数的转置矩阵是它的Hesse矩阵
   （3）例题：求目标函数$$f(x)=x1$$