经典卷积神经网络AlexNet原理详细介绍

原创

已于 2022-04-26 21:33:32 修改 · 1w 阅读

于 2022-04-26 11:25:17 首次发布

AlexNet是2012年ImageNet竞赛的冠军模型，由Alex Krizhevsky等人提出，首次大规模应用深度卷积神经网络于图像分类。模型包含5个卷积层和3个全连接层，使用ReLU激活函数，局部响应归一化，最大池化以及Dropout等技术，有效防止过拟合。双GPU并行训练提升了训练速度。数据增强、非饱和ReLU和Dropout等策略是其成功的关键因素。

《ImageNet Classification with Deep Convolutional Neural Networks》

这篇文章的网络是在2012年的ImageNet竞赛中取得冠军的一个模型整理后发表的文章。作者是多伦多大学的Alex Krizhevsky等人。AlexNet是由Alex Krizhevsky 提出的首个应用于图像分类的深层卷积神经网络。在这之前，常见的第一个CNN网络结构LeNet5并不被人所熟知，本文所提出的AlexNet才引起了大家对于CNN的注意。在这之后。越来越多更深层次的网络结构被提出，使得CNN成为了成为了图像领域的核心算法。

这篇文章是本人对于这一网络学习之后的一点记录，算是学习笔记，如果有不对之处欢迎大家指正。

1.论文里提出的模型结构

watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6IOW6JmO54ix5a2m5LmgMQ==,size_20,color_FFFFFF,t_70,g_se,x_16

怎么看这幅图呢？前面是5个卷积层（图示虚线部分所示），后面是三个全连接层（图中实线所示）。首先这幅图分为上下两个部分的网络，论文中提到这两部分网络是分别对应两个GPU，只有到了特定的网络层后才需要两块GPU进行交互，这种设置完全是利用两块GPU来提高运算的效率，其实在网络结构上差异不是很大。对网络细节做一下简单的梳理：

AlexNet共分为8层结构，其中前5层为卷积层，后面3层为全连接层；
AlexNet采用两路GTX 580 3G并行训练；
AlexNet在第2,4,5层均是前一层自己GPU内连接，第3层是与前面两层全连接，全连接是2个GPU。