论文笔记 CVPR2020 (Python) Exploring Self-attention for Image Recognition

CVPR 2020 中有关自注意力机制的一篇研究论文

Contributions

探究自注意力机制的不同变体，并对其在图像识别任务中的适用性进行评估；从两个维度对自注意力机制展开分析：成对自注意力与块级自注意力

核心发现：

Methods

成对自注意力机制

作用于beta(xj)的权重值仅由xi与xj共同决定。

通过引入位置编码机制，可使网络模型识别出xi与xj之间的空间位置关联。

Patch Self-attention

![在这里插入图片描述](https://ad.itadn.com/c/weblog/b