神经网络算法推演-------前馈神经网络（feedforward neural network )

原创

于 2018-03-19 23:52:38 发布 · 3.9w 阅读

文章标签：

这篇博客详细介绍了前馈神经网络（feedforward neural network）的基础知识，包括神经元的运作原理、神经网络模型的构建，以及前向传播的过程。通过一个简单的神经网络实例，解释了激活值、权重和偏置的概念，并提到了使用sigmoid和tanh函数作为激活函数的情况。此外，还提及了多隐藏层神经网络和多输出的应用场景。

前馈神经网络（feedforward neural network )

学习神经网络的公式推导时，看到一篇很好的文章，所以就搬到了自己的博客，重新编辑了下，也算是自我学习并分享给大家，查看原文请点击===>>>>>

1.1概述

以监督学习为例，假设我们有训练样本集 $\textstyle (x(^ i),y(^ i))$ ，那么神经网络算法能够提供一种复杂且非线性的假设模型 $\textstyle h_{W,b}(x)$ ，它具有参数 $\textstyle W$ ，可以以此参数来拟合我们的数据。

为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个“神经元”构成，以下即是这个“神经元”的图示：
这里写图片描述
这个“神经元”是一个以 $\textstyle x_1, x_2, x_3$ 及截距 $\textstyle +1$ 为输入值的运算单元，其输出为

h W, b (x) = f (W T x) = f (\sum 3 i = 1 W i x i + b)

$\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)$ ，其中函数

f:R↦R f : ℜ ↦ ℜ $\textstyle f : \Re \mapsto \Re$ 被称为“ 激活函数”。在本教程中，我们选用sigmoid函数作为”’激活函数”’

f(⋅) f ( ⋅ ) $\textstyle f(\cdot)$

f (z) = 1 1 + exp ( - z ) .

$f(z) = \frac{1}{1+\exp(-z)}.$

可以看出，这个单一“神经元”的输入－输出映射关系其实就是一个逻辑回归（logistic regression）。

虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数（tanh）：

f (z) = tanh (z) = e z - e - z e z + e - z,

$f(z) = \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}},$

$\textstyle \tanh(z)$ 函数是sigmoid函数的一种变体，它的取值范围为 $\textstyle [-1,1]$ ，而不是sigmoid函数的 $\textstyle [0,1]$ 。

最后要说明的是，有一个等式我们以后会经常用到：

如果选择 $\textstyle f(z) = 1/(1+\exp(-z))$ ，也就是sigmoid函数，那么它的导数就是 $\textstyle f'(z) = f(z) (1-f(z))$
如果选择tanh函数，那它的导数就是 $\textstyle f'(z) = 1- (f(z))^2$ ，你可以根据sigmoid（或tanh）函数的定义自行推导这个等式。

1.2 神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：
这里写图片描述

我们使用圆圈来表示神经网络的输入，标上“ $\textstyle +1$ ”的圆圈被称为”’偏置节点”’，也就是截距项。神经网络最左边的一层叫做”‘输入层”’，最右的一层叫做”‘输出层’”（本例中，输出层只有一个节点）。中间所有节点组成的一层叫做”’隐藏层

最低0.47元/天解锁文章