第六章《凸优化核心过程:真正搞懂梯度下降过程》

优化问题可以分为凸优化问题和非凸优化问题，凸优化问题是指定义在凸集中的凸函数最优化的问题，典型应用场景就是 目标函数极值问题的求解。凸优化问题的局部最优解就是全局最优解，因此 机器学习中很多非凸优化问题都需要被转化为等价凸优化问题或者被近似为凸优化问题。

6.1 通俗讲解凸函数

6.1.1 什么是凸集

凸集表示一个欧几里得空间中的区域，这个区域具有如下特点:区域内任意两点之间的线段都包含在该区域内;更为数学化的表述为，集合 C 内任意两点间的线段也均在集合 C 内，则 称集合 C 为凸集。

6.1.2 什么是凸函数

凸函数是一个定义在某个向量空间的凸子集 C(区间)上的实值函数 f，而且对于凸子集 C 中的任意两个向量，如果 f((x1+x2)/2) ≤ (f(x1)+f(x2))/2，则 f(x) 是定义在凸子集 C 中的凸函数。实 际上，如果某函数的上镜图(函数曲线上的点和函数曲线上方所有的点的集合)是凸集，那么 该函数就是凸函数。

6.1.3 机器学习“热爱”凸函数

凸函数的局部极小值就是全局最小值。机器学习中有很多优化问题都要通过凸优化来 求解，另外一些非凸优化问题也常常被转化为凸优化问题来求解。学术界对于非凸优化的优化问题也没有一个很好的通用解决方法。

6.2 通俗讲解梯度下降

梯度下降法是一种逐步迭代、逐步缩减损失函数值，从而使损失函数值最小的方法。

首先，选取任意参数(ω 和 b)值作为起始值。

其次，明确迭代方向，逐步迭代。这个最陡在数学上的表现就是梯度，也就是说沿着负梯度方向下降能够最快到达山谷。

最后，确定迭代步长。当我们沿着负梯度方向进行迭代的时 候“每次走多大的距离”，也就是“学习率”的大小是需要算法工程师去调试的;或者说，算法 工程师的一项工作就是要调试合适的“学习率”，从而