4本文方法
4.1 将自注意力与卷积联系起来
前面介绍了对自注意力和卷积模块的分解，从多个角度揭示了更深层次的关系。首先，这两个阶段的作用非常相似。阶段一是一个特征学习模块，两种方法通过执行个卷积来将特征投射到更深的空间，从而共享相同的操作。另一方面，第二阶段对应的是特征聚合的过程。
从计算的角度来看，卷积模块和自注意力模块在第一阶段进行的1 × 1卷积都需要理论浮点数和通道大小参数的二次复杂度C。相比较而言，在第二阶段，两个模块都是轻量级的或几乎不需要计算。
综上所示，上述分析表明:
- Convolution和self-attention在通过1×1 convolutions投影输入feature map的操作上实际上是相同的，这也是两个模块的计算开销；
- 虽然对于捕获语义特征至关重要，但第二阶段的聚合操作是轻量级的，不需要获取额外的学习参数。
4.2 自注意力与卷积的整合
上述的观察自然带来了卷积和自注意力的完美结合。由于两个模块共享相同的1×1卷积操作，因此只能执行一次投影，并将这些中间特征映射分别用于不同的聚合操作。于是本文作者提出了如图2(c)所示的混合模块ACmix。
图2(c)
具体来说，ACmix依旧包括两个阶段：
- 在第一阶段：通过3个1×1卷积对输入特征进行投影，然后reshape为N个Pieces。因此，获得了包含3×N特征映射的一组丰富的中间特征。
- 在第二阶段：它们遵循不同的范例。对于自注意力路径，将中间特征集合到N组中，每组包含3个特征，每个特征来自1×1卷积。对应的三个特征图分别作为query、key和value，遵循传统的多头自注意力模块。对于kernel size为k的卷积路径，采用轻全连接层，生成个特征映射。因此，通过对生成的特征进行移位和聚合，对输入特征进行卷积处理，并像传统的一样从局部感受野收集信息。
最后，将两个路径的输出相加，其强度由两个可学习标量控制:
4.3 改进Shift和Summation
如图4.2节和图2所示，卷积路径中的中间特征遵循传统卷积模块中的移位和求和操作。尽管它们在理论上是轻量级的，但向不同方向移动张量实际上破坏了数据局部性，很难实现向量化实现。这可能会极大地损害了推理时的实际效率。
图3
作为补救措施，采用固定kernel的深度卷积来代替低效张量位移，如图3 (b)所示。以移位特征为例，计算为:
其中c表示每个输入特征的通道。
另一方面，如果表示卷积核(kernel size k = 3)为:
相应的输出可以表示为:
因此，对于特定的位移方向，经过精心设计的kernel weight，卷积输出相当于简单张量位移。为了进一步合并来自不同方向的特征的总和，作者将所有的输入特征和卷积核分别串联起来，将移位运算表示为单群卷积，如图3 (c.I)所示。这一修改使模块具有更高的计算效率。
在此基础上还引入了一些适应性来增强模块的灵活性。所示在图3 (c.II)中，释放卷积核作为可学习权值，以移位核作为初始化。这提高了模型的容量，同时保持了原有的移位操作能力。还使用多组卷积核来匹配卷积的输出通道维数和自注意力路径，如图3 (c.III)所示。
4.4 ACmix的计算成本
为了更好的比较，在表1中总结了ACmix的FLOPs和参数。
第一阶段的计算成本和训练参数与自注意力相同，且比传统卷积(如3×3 conv)轻。在第二阶段，ACmix引入了额外的计算开销（完全连接层和组卷积），其计算复杂度是线性对通道大小C和相对较小的阶段即实际成本与理论分析ResNet50模型显示了类似的趋势。
4.5 对其他注意力模式的推广
随着自注意力机制的发展，许多研究都集中在探索注意力的变化，以进一步提升模型性能。有学者提出的Patchwise attention将来自局部区域所有特征的信息合并为注意力权重，取代原来的softmax操作。swin-transformer采用的窗口注意力方法在同一局部窗口中保持token的感受字段相同，以节省计算成本，实现快速推理速度。另一方面，ViT和DeiT考虑将长期依赖关系保持在单个层中的全局注意力。在特定的模型体系结构下，这些修改被证明是有效的。
在这种情况下，值得注意的是，提出的ACmix是独立于自注意力公式的，并且可以很容易地应用到上述的变体。具体来说，注意力权重可以概括为:
其中[·]表示特征拼接，φ(·)表示具有中间非线性激活的两个线性投影层，Wk(i,j)是每个query token的专门接受字段，W代表整个特征图。然后，计算出的注意力权重可以应用于式(12)，并符合一般公式。
5实验
5.1 ImageNet
分类结果如上图表所示。对于ResNet-ACmix模型优于所有具有可比较的浮点数或参数的Baseline。
例如，ResNet-ACmix 26实现了与SASA-ResNet 50相同的top-1精度，但执行次数为80%。在类似的FLOPs案例中，本文的模型比SASA的表现好0.35%-0.8%，而相对于其他Baseline的优势甚至更大。
对于SANACmix、PVT-ACmix和Swin-ACmix，本文的模型实现了持续的提升。SAN- acmix 15以80%的FLOPs超过SAN 19。PVT-ACmix-T显示出与PVT-Large相当的性能，只有40%的FLOPs。Swin-ACmix-S以60% FLOPs实现了比Swin-B更高的精度。
5.2 语义分割与目标检测
作者在ADE20K数据集中评估了模型的有效性，并在Semantic-FPN 和UperNet两种分割方法上显示结果。在ImageNet-1K上预训练Backbone。事实证明
ACmix在所有设置下都实现了提升。
作者也在COCO上进行了实验。
表3和表4显示了基于resnet的模型和基于Transformer的模型在不同检测head情况下的结果，包括RetinaNet、Mask R-CNN 和 Cascade Mask R-CNN。可以观察到ACmix始终优于具有相似参数或FLOPs的Baseline。这进一步验证了将ACmix转移到下游任务时的有效性。
5.3 消融实验
1、结合两个路径的输出
探索卷积和自注意力输出的不同组合对于模型性能的影响。作者采用了多种组合方法进行实验，结果总结如表6所示。通过用传统的3 × 3卷积代替窗口注意，还展示了仅采用一条路径的模型的性能，Swin-T用自注意力，而Conv-Swin-T用卷积。正如所观察到的，卷积和自注意力模块的组合始终优于使用单一路径的模型。固定所有操作符的卷积和自注意力的比例也会导致性能下降。相比之下，使用学习的参数给ACmix带来了更高的灵活性，卷积和自注意力路径的强度可以根据滤波器在整个网络中的位置自适应调整。
2、Group Convolution Kernels
作者还对组卷积核的选择进行了消融实验，在表7中实证地展示了每种适应的有效性，以及它对实际推理速度的影响。用组卷积代替张量位移，大大提高了推理速度。此外，使用可学习的卷积核和精心设计的初始化增强了模型的灵活性，并有助于最终的性能。
5.5 Bias towards Different Paths
同样值得注意的是，ACmix引入了两个可学习标量α、β来合并来自两个路径的输出。这导致了模块的一个副产品，其中α和β实际上反映了模型在不同深度上对卷积或自注意力的偏向。
这里进行了平行实验，图5显示了SAN-ACmix模型和Swin-ACmix 模型中不同层学到的参数α、β。左图和中间图分别显示了自注意力和卷积路径速率的变化趋势。在不同的实验中，速率的变化相对较小，特别是当层更深时。
这个观察结果表明，对于不同的设计模式，深度模型具有稳定的偏好。在右边的图中显示了一个更明显的趋势，其中两个路径之间的比率被明确地表示出来。可以看到：
- 在Transformer模型的早期阶段，卷积可以作为很好的特征提取器。
- 在网络的中间阶段，模型倾向于利用两种路径的混合，对卷积的偏向越来越大。
- 在最后阶段，自注意力表现出比卷积更大的优势。这也与之前作品的设计模式一致，即在最后阶段多采用自注意力来代替原来的3x3卷积，早期的卷积被证明对vision transformer更有效。
通过分析α和β的变化发现在深度模型的不同阶段对卷积和自注意力有不同的偏向。
6参考
[1].On the Integration of Self-Attention and Convolution
