计算机视觉中的注意力机制综述

注意力机制在卷积网络的优化过程中得到了广泛应用。以下将介绍几种在特征提取网络中被广泛采用的知名注意力机制。

• SEnet(https://arxiv.org/abs/1709.01507 )

SEnet（Squeeze-and-Excitation Network）关注特征通道间的相互关系，并在特征通道层面引入了注意力机制。

该网络通过学习的方式自动识别各个特征通道的重要性，并依据所获取的重要性信息来增强关键特征，同时抑制与当前任务无关的特征。SEnet借助Squeeze模块与Exciation模块完成上述功能。

如上图所示，作者首先采用squeeze操作对空间维度进行压缩，通俗地讲，即对每个特征图实施全局池化处理，将其转换为一个单一的实数值。该数值在一定程度上具备全局感受野的特性。作者指出，此操作能够让靠近输入端的特征也具备全局感受野，这一特性在诸多任务中具有重要价值。

随后是excitation操作，由于经过squeeze操作后网络输出了尺寸为11C的特征图，作者通过权重w来学习C个通道之间的相关性。在实际应用中，有的框架采用全连接层实现，而有的框架则使用1*1卷积完