Tensorflow2.* keras CBAM 代码实现

最新推荐文章于 2026-06-26 14:44:09 发布

原创

最新推荐文章于 2026-06-26 14:44:09 发布 · 7.7k 阅读

105

标签

#tensorflow #深度学习 #神经网络

收录于

本文介绍了Tensorflow2.0中使用Keras实现CBAM模块的详细过程，包括Channel Attention和Spatial Attention的理论推导及代码实现。CBAM通过结合global maxpool和avgpool提升模型性能，相较于SENet，CBAM的max-pooling提供了更精确的通道注意力。此外，文章还提供了基于ResNet系列的模型搭建参考。

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

文章目录

理论推导
代码复现

理论推导

整体模型框架

试验结果显示串联效果优于并联结果，channel attention在前优于spatial attention在前。
因此，最后采取的是一个channel attention module与一个spatial attention module串联的形式。
在这里插入图片描述
表达式如下：
${F}'=M_{c}(F)\bigotimes F$
${F}''=M_{s}({F}')\bigotimes {F}'$
式中，
$\in \mathbb{R}^{C\times H\times W }$ 表示module输入特征层
$M_{c} \in \mathbb{R}^{C\times 1\times 1 }$ 表示1D channel attention
$M_{s} \in \mathbb{R}^{1\times H\times W }$ 表示2D spatial attention
$\bigotimes$ 表示同位元素相乘

Channel attention module

1.同时进行了global maxpool和avgpool；
2. 共享权重且具有瓶颈机制两层全连接；
3. 同位相加后采用sigmoid激活，得到输出；

在这里插入图片描述
因此对应 $M_{c}(F)$ 的表达式如下：
$\begin{aligned} M_{c}(F)&=\sigma(MLP(AvgPool(F))+MLP(MaxPool(F))\\&=\sigma(W_{1}(W_{0}(F_{avg}^{c}))+W_{1}(W_{0}(F_{max}^{c}))) \end{aligned}$