Coordinate Attention for Efficient Mobile Network Design

最新推荐文章于 2025-10-07 22:10:20 发布

原创

最新推荐文章于 2025-10-07 22:10:20 发布 · 6.6k 阅读

本文介绍了在CVPR 2021上发表的坐标注意力机制，一种将位置信息融入通道注意力的高效移动网络设计。通过分解全局池化，CA模块捕获空间依赖并生成方向感知和位置感知的注意力图，实验证明其在ImageNet分类、目标检测和语义分割中表现优秀。

低功耗蓝牙项目，需要一块懂省电的板

思澈 SF32LB52 芯片，BLE 协议栈深度优化，上手即开发

点击查看

摘要

Coordinate Attention 注意力机制

Coordinate Attention模块

坐标信息嵌入（Coordinate Information Embedding ）

坐标注意力生成（Coordinate Attention Generation ）

实验对比

关于CV中注意力机制的系列文章里面，之前更新了SENET、STN、CBAM的解析，有兴趣的同学可以去看一下。即CBAM之后，坐标注意力（Coordinate Attention）在2021年发表，这就是本次文章要解释的论文。关于坐标注意力的 Coordinate Attention for Efficient Mobile Network Design，它是发表在CVPR2021上的注意力的文章，还是先放原文链接：Coordinate Attention。

代码地址：代码。

摘要

最近的移动网络设计研究表明，通道注意力机制(例如，SENET)对提升模型性能具有显著的有效性，但它们通常忽略了位置信息，而位置信息对于生成空间选择性注意力的Map非常重要的。论文提出了一种新的移动网络注意力机制，将位置信息嵌入到信道注意中，称为CA（Coordinate Attention）。SENET的S操作是将输入的Feature Map通过Global Avg Pooling获得到每个Feature的特征值，与通道注意力将特征张量转化为单个特征向量的通道注意不同，坐标注意将通道注意分解为两个一维特征编码过程，分别沿两个空间方向聚合特征。通过这种方式，可以捕获长期依赖关系，这样既可以获取一个空间方向上的远程依赖关系，又可以保留另一个空间方向上的精确位置信息。然后，生成的特征图被分别编码成方向感知和位置感知的注意力Map，这对注意力图可以互补地应用于输入特征图，以增加感兴趣对象的表示。坐标注意力简单，可以灵活地插入经典的移动网络并且计算量很小，如MobileNetV2, MobileNeXt和EffificientNet等。大量实验表明，坐标注意力模块不仅有利于ImageNet分类，而且在目标检测和语义分割等任务中表现得更好。