VGG 16前向传播与反向传播公式推导

VGG 16 公式推导

VGG-16共有13层卷积层，5层池化层和3层全连接层，对前两层全连接网络采用dropout和L2正则化防止过拟合，采用批量梯度下降+Momentum以交叉熵为目标损失进行训练优化。

• $n^l$—第$l$层网络节点（卷积核）数目；

• $k_{p,q}^l$—第$l$层$p$通道与第$l-1$层$q$通道对应卷积核；

• $b_p^l$—第$l$层$p$节点（通道）的偏置；

• $W^l$—第$l$层全连接网络的权重；

• $z^l$—第$l$层未经过激活函数的前向输入；

• $a^l$—第$l$层经过激活函数后的前向输出；

前向传递

第$l$层卷积操作公式：
$$\begin{gathered} z_p^l(i,j)=\sum _{q=1}^{n^{l-1}}\sum _{u=-1}^1\sum _{v=-1}^1{a}_q^{l-1}(i-u,j-v)k_{p,q}^l(u,v)+b_p^l \\ {a}_p^l(i,j)=ReLU\left(z_p^l(i,j)\right) \end{gathered}$$
第$l$层最大池化公式：
z p l ( i , j ) = max ⁡ ( a p l − 1 ( 2 i − u , 2 j − v ) ) u , v ∈ { 0 , 1 } z_{p}^{l}(i,j)=\max \left( a_{p}^{l-1}(2i-u,2j-v) \right)u,v\in \left\{ 0,1 \right\} zpl​(i,j)=max(apl−1​(2i−u,2j−v))u,v∈{ 0,1}
经过前18层的卷积核池化操作后可获得$7\times 7\times 512$大小的特征图，需要将其转化为一个25,088维的向量以便作为全连接层的输入，该过程输出为$a^{18}$:
$$a^{18}=F\left({\left\{z_p^{18}\right\}}_{p=1,2,\cdots ,512}\right)$$
全连接网络的前两层采用dropout，设为$d$，第$l$层节点的连通可用$r^l$来表示，其服从伯努利分布：
$$r^l\sim Bernoulli(d)$$
前向传播为：
$$\begin{gathered} {\tilde{a}}^l=r^l\odot a^l \\ {z}^{l+1}=W^{l+1}{\tilde{a}}^l+b^{l+1} \\ {a}^{l+1}=ReLU(z^{l+1}) \end{gathered}$$
其中，⨀为Hadmard积，即矩阵对应元素相乘。

输出层的激活函数为softmax：
$$a_i^L=softmax(z_i^L)=\frac{e^{z_i^L}}{\sum _{k=1}^{n^L}{e}^{z_k^L}}$$
采用交叉熵损失作为损失函数：
$$L=-\sum _{i=1}^{n^L}{y}_i\log a_i^L$$

反向传播

引入中间变量${\delta }^l$，为第$l$层的误差，表示损失函数对第l层前向输入$z^l$ 的梯度，即为$\frac{\partial L}{\partial z^l}$

Softmax函数偏导数计算公式为：

当$i=j$时，
∂ ∂ z j ( e z j ∑ k = 1 n e z k ) = e z j ∑ k = 1 n e z k − ( e z j ) 2 ( ∑ k = 1 n e z k ) 2 = a j ( 1 − a j ) \frac{\partial }{\partial { {z}_{j}}}\left( \frac{ { {e}^{ { {z}_{j}}}}}{\sum\nolimits_{k=1}^{n}{ { {e}^{ { {z}_{k}}}}}} \right)=\frac{ { {e}^{ { {z}_{j}}}}\sum\nolimits_{k=1}^{n}{ { {e}^{ { {z}_{k}}}}}-{ {\left( { {e}^{ { {z}_{j}}}} \right)}^{2}}}{ { {\left( \sum\nolimits_{k=1}^{n}{ { {e}^{ { {z}_{k}}}}} \right)}^{2}}} ={ {a}_{j}}\left( 1-{ {a}_{j}} \right) ∂zj​∂​(∑