Le-Net5 学习

LeNet-5  共有 7 层，输入层不计入层数，每层都有一定的训练参数，其中三个卷积层的训练参数较多，每层都有多个滤波器，也叫特征图，每个滤波器都对上一层的输出提取不同的像素特征。

                                            输入-卷积-池化-卷积-池化-卷积（全连接）-全连接-全连接（输出）

各层的结构和参数如下：

C1层是个卷积层，其输入输出结构如下：

输入： 32 x 32 x 1  滤波器大小： 5 x 5 x 1   滤波器个数：6

输出： 28 x 28 x 6

参数个数： 5 x 5 x 1 x 6 + 6 = 156

P2层是个池化层，其输入输出结构如下：

输入： 28 x 28 x 6  滤波器大小： 2 x 2   滤波器个数：6

输出： 14 x 14 x 6

参数个数：2 x 6 = 12

在原文中，P1池化层采用的是平均池化，鉴于现在普遍都使用最大池化，所以在后面的代码实现中我们统一采用最大池化。

C3层是个卷积层，其输入输出结构如下：

输入： 14 x 14 x 6  滤波器大小： 5 x 5 x 6   滤波器个数：16

输出： 10 x 10 x 16

参数个数： 5 x 5 x 6 x 16 + 16 = 2416

P4层是个池化层，其输入输出结构如下：

输入： 10 x 10 x 16  滤波器大小： 2 x 2   滤波器个数：16

输出：  5 x 5 x 16

参数个数： 2 x 16 = 32

C5层在论文中是个卷积层，但滤波器大小为 5 x 5，所以其本质上也是个全连接层。如果将5 x 5 x 16 拉成一个向量，它就是一个全连接层。其输入输出结构如下：

输入：  5 x 5 x 16  滤波器大小： 5 x 5 x 16  滤波器个数：120

输出： 1 x 1 x 120

参数个数： 5 x 5 x 16 x 120 + 120 = 48120

F6层是个全连接层，全连接的激活函数采用的是 tanh 函数，其输入输出结构如下：

输入：120

输出：84

参数个数：120 x 84 + 84 = 10164

F7层即输出层，也是个全连接层，其输入输出结构如下：

输入：84

输出：10

参数个数： 84 x 10 + 10 = 850