attention mechanisms, self-attention mechanisms, channel attention mechanisms, spatial attention mechanisms, multi-head attention mechanisms, transformer

文章目录

• attention

• • sequence attention

  • • attention 与 self-attention

  • channel attention 与 spatial attention

• multi-head attention

• transformer

attention

该领域的神经网络模型归为连接主义架构，在深度学习框架下通过引入注意力机制来实现信息处理的能力。针对传统神经网络架构进行扩展以提升模型性能，在实际应用中需要合理分配各层节点之间的关联强度。本文探讨的主要关注点涵盖的注意力机制主要包括序列型注意力（Sequence Attention）、通道型注意力（Channel Attention）以及空间型注意力（Spatial Attention）。其中序列型注意力（Sequence Attention）在自然语言处理（NLP）领域应用较为广泛；而通道型注意力（Channel Attention）和空间型注意力（Spatial Attention）则主要应用于计算机视觉（CV）领域。

sequence attention

在基于序列数据的时间序列分析中（注意：此处使用"基于"替代"针对"），通过引入注意力机制（注意：此处将"引入"替换为"通过添加"），可以让神经网络