pytorch学习六--模型创建步骤与nn.module

模型模块包括两部分：模型创建与权值初始化；模型创建又包括构建网络层（卷积层、池化层、激活函数层等）和拼接网络层（LeNet、AlexNet、ResNet等）；权值初始化有Xavier、Kaiming、均匀分布、正态分布等。

LeNet网络结构

运算示意图

nn.module

• torch.nn.Parameter：张量子类，表示可学习参数，如weight、bias
• torch.nn.Module：所有网络层基类，管理网络属性
• torch.nn.functional：函数具体实现，如卷积、池化、激活函数等
• torch.nn.init：参数初始化方法
• parameters：存储管理nn.Parameter类
• modules：存储管理nn.Module类
• buffers：存储管理缓冲属性，如BN层中的running_mean
• ***_hooks：存储管理钩子函数

self._parameters = OrderedDict()
self._buffers = OrderedDict()
self._backward_hooks = OrderedDict()
self._forward_hooks = OrderedDict()
self._forward_pre_hooks = OrderedDict()
self._state_dict_hooks = OrderedDict()
self._load_state_dict_pre_hooks = OrderedDict()
self._modules = OrderedDict()

nn.module总结：

1. 一个module可以包含多个子module
2. 一个module相当于一个运算，必须实现forward()函数
3. 每个module都有8个字典管理它的属性

模型容器与AlexNet构建

Containers

• nn.Sequential：按顺序包装多个网络层
• nn.ModuleList：像python的list一样包装多个网络层
• nn.ModuleDict：像python的dict一样包装多个网络层

nn.Sequential是nn.module的容器，用于按顺序包装一组网络层

Sequential的特性：

• 顺序性：各网络层之间严格按照顺序构建
• 自带forward()：自带的forward里，通过for循环依次执行前向传播运算

nn.ModuleList是nn.module的容器，用于包装一组网络层，以迭代方式调用网络层的主要方法：

• append()：在ModuleList后面添加网络层
• extend()：拼接两个ModuleList
• insert()：指定在ModuleList中位置插入网络层

nn.ModuleDict是nn.module的容器，用于包装一组网络层，以索引方式调用网络层主要方法：

• clear()：清空ModuleDict
• items()：返回可迭代的键值对（key-value pairs）
• keys()：返回字典的键（key）
• values()：返回字典的值（value）
• pop()：返回一对键值，并从字典中删除

nn.Sequential：顺序性，各网络层之间严格按照顺序执行，常用于block构建

nn.ModuleList：迭代性，常用于大量重复网构建，通过for循环实现重复构建

nn.ModuleDict：索引性，常用于可选择的网络层

AlexNet

AlexNet：2012年以高出第二名10多个百分点的准确率获得ImageNet分类任务冠军，开创了卷积神经网络的新时代

AlexNet特点如下：

1. 采用ReLU：替代饱和激活函数，减轻梯度消失
2. 采用LRN(Local Response Normalization)：对数据归一化，减轻梯度消失
3. Dropout：提高全连接的鲁棒性，增加网络的泛化能力
4. Data Augmentation：TenCrop，色彩修改

参考文献：ImageNet Classification with Deep Convolutional Neural Networks