深度学习之详解常见梯度算法(概念、公式、原理、算法实现过程)

最新推荐文章于 2026-05-10 21:30:26 发布

原创

最新推荐文章于 2026-05-10 21:30:26 发布 · 2.3w 阅读

102

目录

前言

一、如何实现梯度下降？

二、梯度计算

三、常见的梯度公式及梯度算法

常见的梯度公式：

1.标量对向量的梯度：

2. 标量对矩阵的梯度：

3. 向量对标量的梯度：

常见梯度算法：

四、常见梯度算法实现

1、批量梯度下降算法实现函数

2、随机梯度下降算法实现函数

3、小批量梯度下降算法实现函数

4、Adam优化算法实现函数

5、简单应用案列demo

五、总结

博主介绍：✌专注于前后端、机器学习、人工智能应用领域开发的优质创作者、秉着互联网精神开源贡献精神，答疑解惑、坚持优质作品共享。本人是掘金/腾讯云/阿里云等平台优质作者、擅长前后端项目开发和毕业项目实战，深受全网粉丝喜爱与支持✌有需要可以联系作者我哦！

🍅文末三连哦🍅

👇🏻 精彩专栏推荐订阅👇🏻 不然下次找不到哟

前言

梯度下降（Gradient Descent）是一种优化算法，用于寻找最小化损失函数（或成本函数）的参数值。在机器学习和深度学习的背景下，损失函数衡量了模型预测值与真实值之间的差异，而梯度下降则是用于更新模型的参数（例如权重和偏置），以最小化这个差异。

梯度下降的工作原理是，通过计算损失函数关于模型参数的梯度，然后沿着梯度的反方向（即最陡峭的下降方向）更新参数。这样，每次迭代都会使损失函数值减小（至少在局部上是这样的），从而逐渐接近损失函数的最小值。

具体来说，梯度下降算法的步骤通常如下：

初始化参数：随机初始化模型的参数（例如权重和偏置）。

计算梯度：使用当前参数计算损失函数关于这些参数的梯度。梯度是一个向量，指示了损失函数在每个参数上的局部变化率。

更新参数：将每个参数沿着梯度的反方向移动一小步，步长由学习率控制。学习率是一个超参数，决定了参数更新的幅度。

重复迭代：重复步骤2和3，直到满足某个停止条件（例如达到最大迭代次数、损失函数值足够小或梯度足够小）。

常见的梯度下降算法：

批量梯度下降（Batch Gradient Descent）：在每次迭代中使用整个数据集来计算梯度并更新参数。这种方法计算量大，但通常能保证收敛到全局最小值（对于凸损失函数）。

随机梯度下降（Stochastic Gradient Descent, SGD）：在每次迭代中只使用一个样本来计算梯度并更新参数。这种方法计算量小，收敛速度快，但可能会引入噪声，导致在最小值附近震荡。

小批量梯度下降（Mini-batch Gradient Descent）：在每次迭代中使用一小批样本来计算梯度并更新参数。这种方法是批量梯度下降和随机梯度下降的折中，结合了它们的优点。

梯度下降是机器学习和深度学习中最常用的优化算法之一，但它也有其局限性。例如，对于非凸损失函数，梯度下降可能只能找到局部最小值而不是全局最小值。此外，学习率的选择对算法的性能至关重要，过大或过小的学习率都可能导致算法表现不佳。因此，在实践中，常常使用更先进的优化算法，如动量（Momentum）、Adam、RMSprop等，它们是对梯度下降算法的改进和扩展。

一、如何实现梯度下降？

深度学习中的自动求梯度，主要依赖于反向传播（Backpropagation）算法和计算图（Computational Graph）的概念。下面，我们将简要解释这两个概念如何共同作用以实现自动求梯度：

计算图：
深度学习模型中的计算可以看作是一系列的操作（如加法、乘法、激活函数等）的组合。这些操作可以表示为计算图中的节点，而节点之间的连接则代表数据依赖关系。每个节点都有一个或多个输入（来自其他节点的输出）和一个输出。

前向传播：
在前向传播过程中，数据从输入层流向输出层，经过计算图中的每个节点，并产生相应的输出。这些输出将作为后续节点的输入，直到最终得到模型的预测结果。

损失函数：
为了评估模型的预测结果与真实结果之间的差距，我们使用损失函数。损失函数是一个量化这种差距的指标，其目标是在训练过程中最小化。

反向传播：
反向传播是自动求梯度的关键步骤。它开始于损失函数节点，并沿着计算图反向传播。在反向传播过程中，我们计算每个节点的梯度，即损失函数对该节点输入的偏导数。这些梯度表示了如何调整节点的输入以最小化损失函数。

梯度下降：
有了每个参数的梯度后，我们就可以使用梯度下降（或其变种，如Adam、RMSprop等）来更新模型的参数。通过反复进行前向传播、计算损失、反向传播和参数更新，模型逐渐学会从输入数据中提取有用的特征，并产生准确的预测。

具体来说，反向传播利用链式法则来计算梯度。链式法则允许我们将复杂的复合函数的导数分解为更简单的子函数的导数的乘积。这样，我们可以从输出层开始，逐层计算梯度，直到达到输入层。

二、梯度计算

梯度下降的核心思想是通过迭代地调整模型参数的值，使得损失函数逐渐减小。具体来说，它的步骤如下：

初始化参数：选择一个初始的模型参数向量。

计算梯度：计算损失函数对参数的梯度（或者称为导数），表示损失函数在当前参数值处的变化率。

更新参数：沿着梯度的反方向，以一定的步长（学习率）更新参数的值，使得损失函数逐渐减小。

迭代：重复步骤2和步骤3，直到满足终止条件（如达到最大迭代次数、损失函数收敛等）。

公式：

假设损失函数为 $J(\theta)$ ， $\theta$ 是待优化的模型参数向量。梯度下降的更新规则如下：