工程优化期末复习

最新推荐文章于 2026-04-19 07:36:38 发布

原创最新推荐文章于 2026-04-19 07:36:38 发布 · 2.7k 阅读

33 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

课内学习

工程优化是通院的院选修课，与离散数学并列。因为是选修课，所以也不会计算均分，重要性也就没那么大。选课之前咨询了学长，墙裂建议我不要报离散数学，而是报工程优化，说工程优化的老师是个可爱的大姐姐。emmmm，不过由于这学期是线上上课，也看不着老师，就把这门课水过去了，基本上腾讯课堂放在那，然后干自己的事情。
废话不多说了，赶紧复习，积极填坑吧！

第二章（基本概念和理论基础）

期末好像是六道大题，应该是每一题对应一道优化算法吧。

二元函数极值

定理1(必要条件)：设f(x,y) 的定义域为D， (x0,y0) 为D内的一个点，若f(x,y)在(x0,y0)处可微且取得极值，则
在这里插入图片描述

注：驻点不一定是极值点

高数里学到的，二元函数极值判定

是极值点，梯度必为0

最优性条件

解析法要用到目标函数的梯度或者Hessian矩阵，容易想到利用一阶必要条件将无约束优化问题转化成一个梯度为0确定的方程组。
注：一般是用一阶条件求得驻点，再用二阶条件判断其是否为极小点

等高线

二元函数最优化问题，具有明显的几何特征，从几何图形上，可以直观了解函数的变化，我们把这种几何解释推广到n维空间中，对后面优化方法的研究是有益处的。
在这里插入图片描述
f减小，等值线缩小，到一个点时，即为极小值点

二次函数

二次型
在这里插入图片描述

判断方法：
1.三个顺序主子式均>0
2.
MATLAB求解：λ=eig（Q）

凸函数

在这里插入图片描述
注：一元凸函数两点间连线总在凸函数上面
多元函数推广

同时还可以依据线性性质：凸函数线性相加仍然是凸函数

凸规划

在这里插入图片描述
1.凸集有非空的相对内部；
2.凸集是连通的并且在任意点具有可行方向；
3.凸函数的局部极小点都是全局极小点；
4.可微凸函数的任一驻点都是全局极小点。

第三章（常用一维搜索算法）

搜索算法概述

常用的思想为迭代法
在这里插入图片描述
算法中比较重要的是终止条件

一般迭代框架

线搜索迭代法

具体步骤

注：搜索方向选取尤为重要

精确一维搜索算法

成功-失败法

单峰函数消去性质
在这里插入图片描述
由单峰函数的性质可知，函数值在极小点左边严格下降，在右边严格上升。
从某个初始点出发，沿函数值下降的方向前进，直至发现函数值上升为止。
由两边高，中间低的三点，可确定极小点所在的初始区间。

算法
在这里插入图片描述
缺点：效率低；
优点：可以求搜索区间；
注意：h 选择要适当，初始步长不能选得太小。

0.618法（黄金分割法）：区间消去法

反复使用单峰函数的消去性质，不断缩小包含极小点的搜索区间，直到满足精度为止。
在这里插入图片描述
t=0.618
算法迭代公式

步骤
收敛条件：消去后的区间长度小于一定数值

优点：不要求函数可微，且每次迭代只需计算一个函数值，计算量小，程序简单
缺点：收敛速度慢。

二分法

在这里插入图片描述
优点：计算量较少，而且总能收敛到一个局部极小点。
缺点：收敛速度较慢

插值法

二次插值法

在这里插入图片描述

范例

三次插值法

在这里插入图片描述

一般流程

第四章（无约束优化）

最速下降法

线搜索法迭代步骤
在这里插入图片描述
最速下降法是求多元函数极值的最古老的数值算法，早在1847年法国数学家Cauchy提出该算法，后来Curry作了进一步的研究。

该方法直观，简单，计算方便，而且后来的一些新的有效的方法大多数是对它的改进，或受它的启发而得到的。

基本思想
在这里插入图片描述
步骤

范例

优点：
理论明确，程序简单，每次的计算量小，所需的存储量小，对初始点要求不严格。
缺点：
收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部性质。
最速下降法相邻两次搜索方向的正交性，决定了迭代全过程的搜索路线呈锯齿状，远快近慢。
最速下降法不是好的实用算法，但是一些有效算法是通过对它的改进或利用它与其他收敛快的算法结合而得到的，因此它是无约束优化的方法之一。

改进
1.选取不同的初始点，然而选取合适的初始点本就是一件困难的事
2.采用非精确一维搜索，例如固定步长
在这里插入图片描述

牛顿法

在这里插入图片描述

牛顿法属于精确一维搜索法，即用目标函数的二次泰勒多项式近似代替函数本身，用二次多项式的极小点近似函数的极小点。

多维Newton
在这里插入图片描述
优点：
当初始点离最优解很近时，算法收敛速度快，局部二次收敛；
算法简单，不需要进行一维搜索；
对正定二次函数，迭代一次就可得到最优解。

阻尼Newton法
加入精确一维搜索

每次都单独计算Hessen阵，计算量大
在这里插入图片描述

共轭方向法

共轭梯度法

共轭方向的选取有很大任意性，而一组不同的共轭方向就对应着不同的共轭方向法。
作为一种迭代算法，我们自然希望共轭方向能在迭代过程中逐次生成。
下面先以正定二次函数为例，介绍一种生成共轭方向的方法，再将这种方法推广到非二次函数上。
这种方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来，所以称为共轭梯度法，它是共轭方向法中的一种。
在这里插入图片描述