别再只调参了！深入理解SENet通道注意力：从PyTorch代码反推原理与设计思想-CSDN博客

从PyTorch实现逆向拆解SENet：通道注意力机制的工程智慧

在深度学习领域，注意力机制已经成为提升模型性能的关键技术之一。SENet（Squeeze-and-Excitation Network）作为通道注意力机制的代表性工作，其设计思想简洁而深刻。本文将采用"代码驱动"的逆向学习方式，通过PyTorch实现逐行解析SENet的核心思想，揭示那些在论文中可能被简化的工程细节。

1. 通道注意力机制的设计哲学

当我们面对一个卷积神经网络的特征图时，传统方法平等对待所有通道，但直觉告诉我们，不同通道的重要性应该有所区别。这就是SENet要解决的核心问题——如何让网络自动学习每个特征通道的重要性权重。

SENet的创新之处在于它没有引入复杂的结构，而是通过三个简洁的操作实现了这一目标：

Squeeze：全局平均池化（GAP）压缩空间信息
Excitation：两个全连接层构成的瓶颈结构学习通道间关系
Reweight：将学习到的权重与原始特征相乘

class SE_Block(nn.Module):
    def __init__(self, inchannel, ratio=16):
        super(SE_Block, self).__init__()
        self.gap = nn.AdaptiveAvgPool2d((1, 1))  # Squeeze
        self.fc = nn.Sequential(                 # Excitation
            nn.Linear(inchannel, inchannel // ratio, bias=False),
            nn.ReLU(),
            nn.Linear(inchannel // ratio, inchannel, bias=False),