MobileNet V3模型——pytorch实现

论文传送门：https://arxiv.org/pdf/1905.02244.pdf

MobileNet V3的目的：对图片进行特征提取，依据特征进行分类。（也可以作为backbone完成检测和分割任务）

MobileNet V3的优点：相较于V2，模型更小(small)，精度更高。

MobileNet V3的方法：

①引入SE(Squeeze-and-Excitation)注意力机制模块，改进倒置残差结构；(红框部分激活函数未注明，SENet中使用Sigmoid，这里使用HardSwish)；

②使用h-swish(HardSwish)激活函数和relu激活函数；

③使用NAS(Neural Architecture Search)技术搜索网络结构；

④改进了分类部分的网络结构。

 MobileNet V3的结构：

①Small：(红框部分表示使用SE结构，但在实现过程中并未使用)

②Large：

 注：如想使用预训练权值，请参考pytorch官方实现代码。

import torch
import torch.nn as nn


def conv_block(in_channel, out_channel, kernel_size=3, strid=1, groups=1,
               activation="h-swish"):  # 定义卷积块,conv+bn+h-swish/relu
    padding = (kernel_size - 1) // 2  # 计算padding
    assert activation in ["h-swish", "relu"]  # 激活函数在h-swish和relu中选择
    return nn.Sequential(
        nn.Conv2d(in_channel, out_channel, kernel_size, strid, pad